local-llm
本站收录 120 个带「local-llm」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）
nanobot超轻量、开源、可自托管的个人 AI 智能体框架，基于 Python 构建，内置 WebUI、工具调用、记忆、MCP、多智能体工作流、自动化与聊天应用等能力，部署★ 48,677
llamafilellamafile 是一个将大语言模型（LLM）及其运行环境打包成单个可执行文件的开源工具，旨在解决 AI 模型分发和部署的复杂性问题。它基于 llama.cp★ 26,089
SoupSoup 是一个用于微调大语言模型（LLM）的开源工具，它通过一个 YAML 配置文件即可完成整个微调流程，极大简化了操作。其核心亮点是采用“层流式训练”（La★ 7,822
open-multi-agentopen-multi-agent 是一个 TypeScript 编写的 AI 智能体编排框架，核心创新在于“描述目标而非流程图”——开发者只需定义任务目标，协调★ 6,968
dograhdograh 是一个开源的语音 AI 平台，旨在作为 Vapi 和 Retell 的自托管替代方案。它解决了企业在部署语音代理时对数据隐私和成本控制的担忧，支持★ 5,774
openmedopenmed 是一个本地优先的医疗 AI 开源项目，专注于临床命名实体识别（NER）和 HIPAA 合规的 PII 去标识化，所有处理完全在设备端运行，无需云★ 5,436
langroidLangroid 是一个面向大型语言模型（LLM）的多智能体编程框架，旨在让开发者通过简洁的 Python 代码编排多个智能体协作，完成复杂任务。它解决了直接调★ 4,108
Rapid-MLXRapid-MLX 是一个专为 Apple Silicon 芯片打造的高性能本地 AI 推理引擎，旨在解决 Mac 上运行大模型速度慢、工具调用支持差的问题。它★ 3,864
surfsurf 是一个个人 AI 笔记本应用，旨在帮助用户整理文件与网页内容，并基于这些材料自动生成笔记。它强调开源、本地运行和数据开放，用户可以选择包括本地模型在内★ 3,584
awesome-local-llmawesome-local-llm 是一个精选资源列表，汇集了在本地运行大型语言模型（LLM）所需的平台、工具、实践和资源。它解决了用户在本地部署 LLM 时信★ 2,910
little-coderlittle-coder 是一个用 TypeScript 编写的编码智能体运行框架（harness），专门针对参数量较小的本地大模型做优化。它解决的核心问题是：★ 2,630
atomic-agentatomic-agent 是一个本地优先的 AI 智能体框架，专为本地大语言模型优化设计。它解决了云端 AI 依赖网络、隐私泄露和上下文受限的问题，让用户完全在★ 2,562
TranslateBooksWithLLMsTranslateBooksWithLLMs 是一个利用大语言模型进行长文档和书籍翻译的开源工具。它解决了传统机器翻译在长篇内容上质量不佳、格式易乱、无法断点续★ 2,449
openai-edge-ttsopenai-edge-tts 是一个免费、高质量的文本转语音（TTS）API 端点，旨在作为 OpenAI、Azure 或 ElevenLabs 等付费 TT★ 2,115
ATLASATLAS 是一个面向智能体（Agent）的测试时自适应学习与自主专业化框架，旨在解决预训练模型在部署后无法根据新环境或任务持续进化的问题。其核心能力包括：在推★ 2,097
parlorparlor 是一个运行在 Apple 芯片设备上的实时多模态 AI 助手，功能类似 GPT-Live，但完全本地化。它解决了云端 AI 助手延迟高、隐私泄露和★ 2,069
locally-uncensoredLocally Uncensored 是一个即插即用的本地 AI 工作室，旨在解决云端 AI 的隐私泄露和内容审查问题。它集成了无审查的聊天、图像生成、视频生成★ 1,847
mlx-servemlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器，使用 Zig 语言编写，无需 Python 环境。它兼容 OpenA★ 1,665
Atomic-ChatAtomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎，旨在让用户完全离线、私密地运行开源大模型。它基于 TypeScript 构建，深度集成★ 1,650
vllm-mlxvllm-mlx 是一个专为 Apple Silicon 芯片设计的开源推理服务器，兼容 OpenAI 和 Anthropic API 协议。它解决了在 Mac★ 1,607
row-botRow-Bot 是一个本地优先的个人 AI 助手，旨在实现个人 AI 主权。它集成了多种工具，包括个人知识图谱、语音交互、视觉识别、Shell 命令执行、浏览器★ 1,524
nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎，旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备（如手机、嵌入式设备）上部署 ★ 1,505
synthadocSynthadoc 是一个开源的 LLM 知识编译引擎，旨在将原始文档转化为结构化的本地优先 Wiki。它解决了传统 RAG 系统在可解释性和可维护性上的痛点，★ 1,496
wuphfwuphf 是一个由 Nex.ai 开发的智能体协作平台，旨在让用户快速组建一个由多个 AI 助手组成的“个人办公室”。这些 AI 助手能够共享上下文，协同完成★ 1,478
gawkbotgawkbot 是一个用 Go 编写的开源 AI 自动化机器人，定位为 Grok Bot 的开源替代方案。它通过接入大语言模型（如 Claude、Codex 等★ 1,478
mlx-tunemlx-tune 是一个专为 Apple Silicon Mac 设计的 LLM 微调工具，基于 MLX 框架原生运行，让开发者无需云端 GPU 即可在本地完成★ 1,414
ouroborosOuroboros 是一个自我进化的 AI 智能体框架，于 2026 年 2 月诞生，旨在解决传统智能体依赖人工预设流程、缺乏自主迭代能力的问题。其核心能力包括★ 1,394
Soul-of-WaifuSoul of Waifu 是一款桌面端 AI 角色扮演与陪伴应用，旨在为二次元角色注入灵魂。它支持 Live2D 和 VRM 模型，让角色以生动形象出现在桌面★ 1,361
resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具，核心思路是把求职流程自动化：用户只需提供目标职位的 URL，工具会抓取★ 1,132
jevjev 是一个可在笔记本本地运行的开源二分类决策模型，定位为 Jev 的替代方案，专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 1,132
PokeClawPokeClaw 是一款运行在 Android 设备上的开源 AI 智能体，旨在让手机完全在本地被 AI 操控，无需云端或 API 密钥。它基于 Gemma 4★ 1,073
agents-from-scratch一个从第一性原理出发构建 AI 智能体的实战教程项目，全程使用本地 LLM，不依赖任何框架、云 API 或隐藏推理，带你一步步理解智能体的真实工作原理，适合想彻★ 1,026
Dark-MoonDark-Moon 是一个自主 AI 渗透测试引擎，旨在持续对 Web、云、身份、CI/CD、IaC、数据库、Active Directory、Kubernet★ 981
SiliconScopeSiliconScope 是一款面向 Apple Silicon Mac 的原生系统监控工具，用 SwiftUI 编写，无需 sudo 权限即可运行。它解决的核★ 966
selfhost-aiselfhost-ai 是一个自托管的 AI 自动化平台，旨在通过一条命令部署 n8n、Ollama、Flowise、RAG、Supabase 等 30 多种 ★ 937
BoxBox 是 Android 平台上目前最先进的全离线客户端 AI 套件，基于 Kotlin 开发。它解决的是移动端 AI 应用过度依赖云端、隐私泄露和网络受限的★ 880
awesome-ai-companion这是一个精选开源项目列表，专注于构建长期AI伴侣关系的技术栈，涵盖前端、后端、记忆系统、硬件载体和世界集成。它解决了AI伴侣领域资源分散、难以入门的问题，为开发★ 829
haxhax 是一个极简的终端原生编码智能体，完全用 C 语言编写，专为追求轻量和低依赖的开发者设计。它解决的是传统 AI 编程助手体积臃肿、依赖复杂、难以在纯终端环★ 823
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo（gfx1151）平台的本地大模型推理部署脚本，目标是让用户以最快速度在搭载该★ 729
chatterbox-tts-apiChatterbox TTS API 是一个本地部署的、兼容 OpenAI 接口的文本转语音服务，基于 Chatterbox 模型实现声音克隆。它解决了在本地或★ 685
qvacQVAC 是一个面向本地优先的 AI 应用开发 SDK 和库集合，旨在帮助开发者构建私有、跨平台、点对点的 AI 应用。它支持在 Linux、macOS、Win★ 655
vela专为小说写作打造的 AI 驱动 IDE：本地 LLM + RAG 架构，隐私优先、支持 BYOK（自带模型密钥），完全掌控自己的数据与成本。面向网文作者与创意写★ 575
taOStaOS 是一个自托管的 AI 智能体操作系统，旨在让用户的记忆、聊天、智能体和文件全部保存在自有硬件上，默认离线运行，也可选择接入云端。它解决了用户对数据主权★ 553
awesome-second-brain这是一个精选资源列表，旨在帮助用户为AI代理构建一个自我进化的“第二大脑”。它解决了AI代理缺乏个人和团队上下文理解的问题，通过整合记忆管理、上下文工程和MCP★ 546
cataicatai 是一个面向 Node.js 开发者的本地 AI 助手运行工具，旨在简化在本地环境中部署和调用大语言模型（LLM）的流程。它基于 llama-cpp ★ 500
ArkhamMirrorArkhamMirror 是一个本地优先的 AI 文档情报平台，专为调查记者设计。它解决了调查报道中大量文档难以快速检索、关联和提取关键信息的问题。核心能力包括★ 493
late-clilate-cli 是一个极简、零配置的 AI 编程代理，旨在解决长对话中上下文污染导致模型推理能力下降的问题。它通过强制使用临时子代理（ephemeral su★ 435
local-llms-on-android这是一个在 Android 设备上本地运行大语言模型（LLM）的开源项目，支持 Gemma、Qwen、LLaMA 等主流模型，通过 LiteRT 和 ONNX ★ 430
react-native-apple-llmreact-native-apple-llm 是一个 React Native 插件，允许开发者通过 Foundation Models 框架在 iOS 应用中★ 346
NeuralDeskAppNeuralDeskApp 是一个跨平台的桌面智能助手应用，旨在提供几乎本地化、最终合理的 AI 辅助体验。它基于 TypeScript 构建，集成多种本地大语★ 331