on-device-ai
本站收录 48 个带「on-device-ai」标签的 AI 开源项目
needleneedle 是一个专为微型设备设计的开源基础模型，体积仅 14MB，参数量 2600 万，能在手机、可穿戴设备、智能家居和机器人上以每秒 1-6k token★ 12,852
runanywhere-sdksrunanywhere-sdks 是一个面向生产环境的 C++ 工具包，旨在让 AI 模型在本地设备上高效运行。它解决了云端推理带来的延迟、隐私和成本问题，提供★ 10,318
GenieXGenieX 是一个专为高通设备设计的开源推理引擎，旨在让开发者通过几行代码即可在本地运行前沿的大语言模型（LLM）和视觉语言模型（VLM）。它充分利用高通芯片★ 8,406
turbo-fieldfareturbo-fieldfare 是一个基于 Swift 编写的开源项目，旨在让 Gemma 4 26B-A4B 模型在任意 M 系列 MacBook 上仅用约 ★ 6,842
LiteRT-LMLiteRT-LM 是 Google 推出的开源大语言模型端侧推理框架，前身为 TensorFlow Lite 相关能力演进而来，目标是让 LLM 在手机、平板★ 6,528
cactuscactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题，核心★ 6,080
thunderboltThunderbolt 是一个强调用户控制权的 AI 智能体框架，核心目标是消除供应商锁定。它允许用户自由选择底层模型（如本地或云端 LLM），并完全掌控自己的★ 4,773
Local-File-OrganizerLocal-File-Organizer 是一款基于 AI 的本地文件管理工具，旨在通过智能整理本地文本和图片文件来提升文件检索效率。它利用 Llama3.2 ★ 3,340
parlorparlor 是一个运行在 Apple 芯片设备上的实时多模态 AI 助手，功能类似 GPT-Live，但完全本地化。它解决了云端 AI 助手延迟高、隐私泄露和★ 2,069
CoreML-ModelsCoreML-Models 是一个将多种主流深度学习模型转换为 Apple Core ML 格式的模型仓库（Model Zoo）。它解决了 iOS/macOS ★ 1,878
react-native-executorchreact-native-executorch 是一个将 Meta 的 ExecuTorch 推理引擎封装为 React Native 原生模块的开源库，让开发★ 1,750
nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备（如手机、嵌入式设备）上部署 ★ 1,505
mlx-tunemlx-tune 是一个专为 Apple Silicon Mac 设计的 LLM 微调工具，基于 MLX 框架原生运行，让开发者无需云端 GPU 即可在本地完成★ 1,414
PhoneClawPhoneClaw 是一个将手机转变为本地 AI 智能体运行时的开源框架，基于 Swift 开发，支持在 iOS 设备上直接运行 Gemma 等端侧模型，无需云★ 1,265
cosmo-edgecosmo-edge 是一个面向生产环境的 C++ 边缘 AI 推理引擎，专注视频分析与端侧视觉语言模型（VLM）部署。它解决的核心问题是：边缘设备芯片平台碎片★ 1,235
Foundation-Models-Framework-Lab这是一个基于 Apple 新发布的 Foundation Models 框架的实战实验室，旨在帮助开发者快速上手构建、测试和评估基于 Apple 基础模型的应用★ 1,185
resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具，核心思路是把求职流程自动化：用户只需提供目标职位的 URL，工具会抓取★ 1,132
jevjev 是一个可在笔记本本地运行的开源二分类决策模型，定位为 Jev 的替代方案，专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 1,132
PokeClawPokeClaw 是一款运行在 Android 设备上的开源 AI 智能体，旨在让手机完全在本地被 AI 操控，无需云端或 API 密钥。它基于 Gemma 4★ 1,073
SiliconScopeSiliconScope 是一款面向 Apple Silicon Mac 的原生系统监控工具，用 SwiftUI 编写，无需 sudo 权限即可运行。它解决的核★ 966
eclaireeclaire 是一个本地优先、开源的 AI 助手，旨在统一管理你的个人数据，包括任务、笔记、文档、照片和书签。它解决的是个人数据分散在多个应用、难以统一检索和★ 922
WaxWax 是一个面向 AI 代理的轻量级记忆层，以单个 Swift 文件实现，专为 Apple Silicon 设备优化。它解决了 AI 代理在本地设备上缺乏快速★ 802
SwiftLMSwiftLM 是一个面向 Apple Silicon 的原生 MLX Swift 大模型推理服务器，目标是把本地 LLM 推理做成可直接调用的 OpenAI ★ 774
qvacQVAC 是一个面向本地优先的 AI 应用开发 SDK 和库集合，旨在帮助开发者构建私有、跨平台、点对点的 AI 应用。它支持在 Linux、macOS、Win★ 655
whisperIMEwhisperIME 是一个基于 Whisper 语音识别模型的 Android 输入法（IME）。它把语音转文字能力直接集成到系统输入法层，用户在任何需要打字★ 643
BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE（混合专家）大模型跑在内存不足设备上的推理方案，核心思路是流式加载专家权重：模型的总参数量可以远超设备 RAM，但每次★ 595
Bonsai-Image-DemoBonsai-Image-Demo 是一个在本地设备上运行的小型图像生成模型演示项目，核心思路是用极简的 1-bit（二值化）和 ternary（三值化）权重来★ 549
sentient-ossentient-os 是一个运行在 macOS 上的本地优先个人智能体系统，旨在通过设备端大语言模型理解用户的完整生活上下文，并主动提供计算机操作服务。它解决★ 526
local-llms-on-android这是一个在 Android 设备上本地运行大语言模型（LLM）的开源项目，支持 Gemma、Qwen、LLaMA 等主流模型，通过 LiteRT 和 ONNX ★ 430
VoxSherpa-TTSVoxSherpa-TTS 是一个基于 Sherpa-ONNX 的 Android 离线神经文本转语音引擎，利用 Kokoro-82M 模型实现高质量语音合成。★ 246
open-dungeonOpen Dungeon 是一款完全本地运行的 AI 角色扮演应用，旨在让用户无需注册、无需 API 密钥、无需云端依赖即可体验 AI 驱动的互动叙事。它通过 ★ 231
LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架，旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 199
afm-Serverafm-Server 是一个运行在 macOS 菜单栏的小工具，它将苹果设备内置的 Foundation Models（如设备端大模型）暴露为兼容 OpenAI★ 194
meeting-transcribermeeting-transcriber 是一款面向 macOS 的本地会议转录工具，定位为 Otter、Granola、Fireflies 的开源替代品。它常驻★ 185
NekoSpeakNekoSpeak 是一款面向 Android 的本地离线 AI 语音合成应用，支持 Kokoro、KittenTTS、Pocket-tts 和 Piper 等★ 172
amanuamanu 是一款面向 macOS 的本地优先会议记录工具，用 Swift 编写。它能自动检测并录制线上会议，随后完成语音转写，把零散的口头讨论沉淀为可检索的文★ 171
EnviousWisprEnviousWispr 是一款面向 macOS 的免费本地语音听写工具，专为 Apple Silicon 优化。它同时集成 Whisper 与 Parakee★ 160
OpenVisionOpenVision 是一款开源的 iOS 应用，旨在将 Meta Ray-Ban 智能眼镜与多种 AI 后端无缝连接，解决智能眼镜缺乏本地智能助手的问题。它支★ 148
OGADOGAD（Off Grid AI）是一个本地优先的AI网关项目，旨在让用户完全离线运行开源AI模型。它通过一个与OpenAI兼容的API网关，统一管理文本、视觉★ 115
InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无需依赖云端即可运行 AI 模★ 112
volocalvolocal 是一个面向 iOS 的完全本地化语音 AI 工具，基于 Swift 和 SwiftUI 构建，利用 Core ML 和 llama.cpp 在设★ 99
edge-vedaedge-veda 是一个面向 Flutter 的端侧 AI SDK，旨在让移动和桌面应用直接运行多种 AI 模型，无需依赖云端服务。它解决了开发者在 Flut★ 88
ZETIC_Melange_appsZETIC_Melange_apps 是一个基于 Melange 框架的 NPU 驱动的端侧 AI 移动应用示例集合。它解决了在移动设备上高效运行 AI 模型时★ 70
kokoro-coremlkokoro-coreml 是一个将 Kokoro TTS 模型从 PyTorch 转换为 CoreML 格式的流水线工具，旨在解锁 Apple 芯片（如 M ★ 69
gloamygloamy 是一个用 Rust 编写的安全、本地优先的个人智能体框架。它旨在解决云端 AI 助手隐私泄露和依赖网络的问题，将智能体运行在用户自己的设备上，确保★ 68
llmedgellmedge 是一个面向 Android 的原生 AI 推理库，旨在将大语言模型、图像生成、图像识别、视频处理、语音识别（STT）和语音合成（TTS）等能力集★ 67
Core-AI-Framework-Lab这是一个探索 Apple Core AI 框架的实战实验室，主要面向 Apple Silicon 设备上的生成式 AI 与端侧推理。项目解决了开发者对 Core★ 66
perso-interactive-ondevice-sdk-swift面向 Apple 平台的交互式对话 AI 数字人 SDK，专为 iOS/macOS 等设备端场景设计，支持在苹果生态中原生集成可对话的虚拟形象。★ 7