on-device-ai 第 1 页

本站收录 60 个带「on-device-ai」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)

cactuscactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题,核心★ 14,745runanywhere-sdksrunanywhere-sdks 是一个面向生产环境的 C++ 工具包,旨在让 AI 模型在本地设备上高效运行。它解决了云端推理带来的延迟、隐私和成本问题,提供★ 10,346GenieXGenieX 是一个专为高通设备设计的开源推理引擎,旨在让开发者通过几行代码即可在本地运行前沿的大语言模型(LLM)和视觉语言模型(VLM)。它充分利用高通芯片★ 8,527turbo-fieldfareturbo-fieldfare 是一个基于 Swift 编写的开源项目,旨在让 Gemma 4 26B-A4B 模型在任意 M 系列 MacBook 上仅用约 ★ 7,388LiteRT-LMLiteRT-LM 是 Google 推出的开源大语言模型端侧推理框架,前身为 TensorFlow Lite 相关能力演进而来,目标是让 LLM 在手机、平板★ 6,886thunderboltThunderbolt 是一个强调用户控制权的 AI 智能体框架,核心目标是消除供应商锁定。它允许用户自由选择底层模型(如本地或云端 LLM),并完全掌控自己的★ 4,826claude-code-localclaude-code-local 是一个让 Claude Code 完全在 Apple Silicon 设备本地运行的开源方案。它用 MLX 原生实现了 An★ 3,505Local-File-OrganizerLocal-File-Organizer 是一款基于 AI 的本地文件管理工具,旨在通过智能整理本地文本和图片文件来提升文件检索效率。它利用 Llama3.2 ★ 3,374parlorparlor 是一个运行在 Apple 芯片设备上的实时多模态 AI 助手,功能类似 GPT-Live,但完全本地化。它解决了云端 AI 助手延迟高、隐私泄露和★ 2,112cosmo-edgecosmo-edge 是一个面向生产环境的 C++ 边缘 AI 推理引擎,专注视频分析与端侧视觉语言模型(VLM)部署。它解决的核心问题是:边缘设备芯片平台碎片★ 2,096CoreML-ModelsCoreML-Models 是一个将多种主流深度学习模型转换为 Apple Core ML 格式的模型仓库(Model Zoo)。它解决了 iOS/macOS ★ 1,896react-native-executorchreact-native-executorch 是一个将 Meta 的 ExecuTorch 推理引擎封装为 React Native 原生模块的开源库,让开发★ 1,791nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎,旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备(如手机、嵌入式设备)上部署 ★ 1,676mlx-tunemlx-tune 是一个专为 Apple Silicon Mac 设计的 LLM 微调工具,基于 MLX 框架原生运行,让开发者无需云端 GPU 即可在本地完成★ 1,472PhoneClawPhoneClaw 是一个将手机转变为本地 AI 智能体运行时的开源框架,基于 Swift 开发,支持在 iOS 设备上直接运行 Gemma 等端侧模型,无需云★ 1,291Foundation-Models-Framework-Lab这是一个基于 Apple 新发布的 Foundation Models 框架的实战实验室,旨在帮助开发者快速上手构建、测试和评估基于 Apple 基础模型的应用★ 1,192PokeClawPokeClaw 是一款运行在 Android 设备上的开源 AI 智能体,旨在让手机完全在本地被 AI 操控,无需云端或 API 密钥。它基于 Gemma 4★ 1,157SiliconScopeSiliconScope 是一款面向 Apple Silicon Mac 的原生系统监控工具,用 SwiftUI 编写,无需 sudo 权限即可运行。它解决的核★ 1,024resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具,核心思路是把求职流程自动化:用户只需提供目标职位的 URL,工具会抓取★ 965jevjev 是一个可在笔记本本地运行的开源二分类决策模型,定位为 Jev 的替代方案,专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 965eclaireeclaire 是一个本地优先、开源的 AI 助手,旨在统一管理你的个人数据,包括任务、笔记、文档、照片和书签。它解决的是个人数据分散在多个应用、难以统一检索和★ 928TheWhisperTheWhisper 是对 OpenAI Whisper 语音识别模型的工程化优化版本,专注于流式识别和端侧部署两大场景。原版 Whisper 虽然识别准确率高★ 903BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE(混合专家)大模型跑在内存不足设备上的推理方案,核心思路是流式加载专家权重:模型的总参数量可以远超设备 RAM,但每次★ 861WaxWax 是一个面向 AI 代理的轻量级记忆层,以单个 Swift 文件实现,专为 Apple Silicon 设备优化。它解决了 AI 代理在本地设备上缺乏快速★ 810SwiftLMSwiftLM 是一个面向 Apple Silicon 的原生 MLX Swift 大模型推理服务器,目标是把本地 LLM 推理做成可直接调用的 OpenAI ★ 799qvacQVAC 是一个面向本地优先的 AI 应用开发 SDK 和库集合,旨在帮助开发者构建私有、跨平台、点对点的 AI 应用。它支持在 Linux、macOS、Win★ 766sentient-ossentient-os 是一个运行在 macOS 上的本地优先个人智能体系统,旨在通过设备端大语言模型理解用户的完整生活上下文,并主动提供计算机操作服务。它解决★ 749slotstreamslotstream 是一个面向 Apple Silicon Mac 的原生本地大模型推理引擎,用 Swift 编写,基于 MLX 与 Metal 加速。它解决★ 673flutter_edge_aiflutter_edge_ai 是一个面向 Flutter 的端侧 AI 开发框架,目标是把大语言模型和多模态能力直接跑在用户设备上,而不是依赖云端 API。它★ 664whisperIMEwhisperIME 是一个基于 Whisper 语音识别模型的 Android 输入法(IME)。它把语音转文字能力直接集成到系统输入法层,用户在任何需要打字★ 660OlliteRTOlliteRT 是一个用 Kotlin 开发的 Android 应用,目标是把手机变成完全本地运行的 LLM 推理服务器,并对外提供 OpenAI 兼容的 A★ 633Bonsai-Image-DemoBonsai-Image-Demo 是一个在本地设备上运行的小型图像生成模型演示项目,核心思路是用极简的 1-bit(二值化)和 ternary(三值化)权重来★ 560local-llms-on-android这是一个在 Android 设备上本地运行大语言模型(LLM)的开源项目,支持 Gemma、Qwen、LLaMA 等主流模型,通过 LiteRT 和 ONNX ★ 491floe-agentfloe-agent 是一个以 iPad 为先、同时支持 iPhone 与 Android alpha 的开源 iOS AI 智能体工作台,用 Swift 编写★ 455DayBeeDayBee 是一个用 Go 编写的跨平台长时录音与实时转写工具,默认接入 Qwen3-ASR 语音识别模型。它解决的是长时间开会、访谈或日常记录中录音文件冗长★ 430VoxSherpa-TTSVoxSherpa-TTS 是一个基于 Sherpa-ONNX 的 Android 离线神经文本转语音引擎,利用 Kokoro-82M 模型实现高质量语音合成。★ 300OfflineLLMOfflineLLM 是一款面向 Android 的本地化 AI 对话应用,核心思路是把大模型完全跑在手机上,不依赖任何云端服务。它通过 llama.cpp 加★ 291amanuamanu 是一款面向 macOS 的本地优先会议记录工具,用 Swift 编写。它能自动检测并录制线上会议,随后完成语音转写,把零散的口头讨论沉淀为可检索的文★ 251meeting-transcribermeeting-transcriber 是一款面向 macOS 的本地会议转录工具,定位为 Otter、Granola、Fireflies 的开源替代品。它常驻★ 243open-dungeonOpen Dungeon 是一款完全本地运行的 AI 角色扮演应用,旨在让用户无需注册、无需 API 密钥、无需云端依赖即可体验 AI 驱动的互动叙事。它通过 ★ 241nightmare-mobilenightmare-mobile 是一个面向 Android 的端侧扩散模型推理应用,用 Kotlin 与 Jetpack Compose 实现,把 Comfy★ 235EnviousWisprEnviousWispr 是一款面向 macOS 的免费本地语音听写工具,专为 Apple Silicon 优化。它同时集成 Whisper 与 Parakee★ 223LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架,旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 220speakmoreSpeakMore 是一款免费开源的跨平台语音输入工具,支持 Mac 和 Windows,用说话代替打字。它解决的核心问题是商业语音输入软件价格高、隐私不透明、★ 207NekoSpeakNekoSpeak 是一款面向 Android 的本地离线 AI 语音合成应用,支持 Kokoro、KittenTTS、Pocket-tts 和 Piper 等★ 203OpenVisionOpenVision 是一款开源的 iOS 应用,旨在将 Meta Ray-Ban 智能眼镜与多种 AI 后端无缝连接,解决智能眼镜缺乏本地智能助手的问题。它支★ 203afm-Serverafm-Server 是一个运行在 macOS 菜单栏的小工具,它将苹果设备内置的 Foundation Models(如设备端大模型)暴露为兼容 OpenAI★ 196OGADOGAD(Off Grid AI)是一个本地优先的AI网关项目,旨在让用户完全离线运行开源AI模型。它通过一个与OpenAI兼容的API网关,统一管理文本、视觉★ 147oidoOído 是一个面向极低资源硬件的开源语音识别引擎,目标是在售价约 5 美元的 ESP32-S3 单片机上实现开放词表语音转文字,完全离线运行,不依赖云端也不依★ 134InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架,基于 TypeScript 构建,旨在让移动应用无需依赖云端即可运行 AI 模★ 115