local-llm 第 1 页
本站收录 173 个带「local-llm」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 4 页)
nanobot超轻量、开源、可自托管的个人 AI 智能体框架,基于 Python 构建,内置 WebUI、工具调用、记忆、MCP、多智能体工作流、自动化与聊天应用等能力,部署★ 50,093
CodeWhaleCodeWhale 是一个开源的、由社区驱动的智能体(Agent)编排框架,使用 Rust 语言编写。它旨在解决 AI 智能体在生产环境中难以标准化、可观测性和★ 41,176
llamafilellamafile 是一个将大语言模型(LLM)及其运行环境打包成单个可执行文件的开源工具,旨在解决 AI 模型分发和部署的复杂性问题。它基于 llama.cp★ 26,641
SoupSoup 是一个用于微调大语言模型(LLM)的开源工具,它通过一个 YAML 配置文件即可完成整个微调流程,极大简化了操作。其核心亮点是采用“层流式训练”(La★ 10,553
local-deep-researchlocal-deep-research 是一个本地优先的深度研究智能体框架,用 Python 编写。它把「多轮检索 + 推理 + 报告生成」的深度研究流程放到本★ 9,585
open-multi-agentopen-multi-agent 是一个 TypeScript 编写的 AI 智能体编排框架,核心创新在于“描述目标而非流程图”——开发者只需定义任务目标,协调★ 7,058
dograhdograh 是一个开源的语音 AI 平台,旨在作为 Vapi 和 Retell 的自托管替代方案。它解决了企业在部署语音代理时对数据隐私和成本控制的担忧,支持★ 6,096
openmedopenmed 是一个本地优先的医疗 AI 开源项目,专注于临床命名实体识别(NER)和 HIPAA 合规的 PII 去标识化,所有处理完全在设备端运行,无需云★ 5,806
locally-uncensoredLocally Uncensored 是一个即插即用的本地 AI 工作室,旨在解决云端 AI 的隐私泄露和内容审查问题。它集成了无审查的聊天、图像生成、视频生成★ 4,263
langroidLangroid 是一个面向大型语言模型(LLM)的多智能体编程框架,旨在让开发者通过简洁的 Python 代码编排多个智能体协作,完成复杂任务。它解决了直接调★ 4,150
Rapid-MLXRapid-MLX 是一个专为 Apple Silicon 芯片打造的高性能本地 AI 推理引擎,旨在解决 Mac 上运行大模型速度慢、工具调用支持差的问题。它★ 4,150
atomic-agentatomic-agent 是一个本地优先的 AI 智能体框架,专为本地大语言模型优化设计。它解决了云端 AI 依赖网络、隐私泄露和上下文受限的问题,让用户完全在★ 3,679
surfsurf 是一个个人 AI 笔记本应用,旨在帮助用户整理文件与网页内容,并基于这些材料自动生成笔记。它强调开源、本地运行和数据开放,用户可以选择包括本地模型在内★ 3,644
claude-code-localclaude-code-local 是一个让 Claude Code 完全在 Apple Silicon 设备本地运行的开源方案。它用 MLX 原生实现了 An★ 3,505
awesome-local-llmawesome-local-llm 是一个精选资源列表,汇集了在本地运行大型语言模型(LLM)所需的平台、工具、实践和资源。它解决了用户在本地部署 LLM 时信★ 3,067
pinvou-agentPinvou Agent 是一个开源的桌面端 AI 智能体,基于 Tauri 和 React 构建,核心定位是本地优先的自动化助手。它解决的是 AI 工具链碎片★ 3,026
project-mayaProject Maya 是一个面向 GLM-5.3-Flash(321B 参数 MoE 架构)大模型的私有化推理引擎,目标是让用户在自己的 GPU 上本地运行★ 2,926
little-coderlittle-coder 是一个用 TypeScript 编写的编码智能体运行框架(harness),专门针对参数量较小的本地大模型做优化。它解决的核心问题是:★ 2,728
HyperQwenHyperQwen 是一套面向消费级显卡的大模型推理优化方案,目标是在单张 24 GB 显存显卡上高效运行 Qwen3.8-27B 这类较大参数量的模型。项目基★ 2,715
papersgpt-for-zoteroPapersGPT for Zotero 是一款专为 Zotero 文献管理工具打造的 AI 对话与 MCP 插件,旨在解决科研人员在阅读和管理文献时信息获取效★ 2,708
mlx-servemlx-serve 是一个专为 Apple Silicon 设计的原生 LLM 推理服务器,使用 Zig 语言编写,无需 Python 环境。它兼容 OpenA★ 2,465
openai-edge-ttsopenai-edge-tts 是一个免费、高质量的文本转语音(TTS)API 端点,旨在作为 OpenAI、Azure 或 ElevenLabs 等付费 TT★ 2,165
ATLASATLAS 是一个面向智能体(Agent)的测试时自适应学习与自主专业化框架,旨在解决预训练模型在部署后无法根据新环境或任务持续进化的问题。其核心能力包括:在推★ 2,113
parlorparlor 是一个运行在 Apple 芯片设备上的实时多模态 AI 助手,功能类似 GPT-Live,但完全本地化。它解决了云端 AI 助手延迟高、隐私泄露和★ 2,112
synthadocSynthadoc 是一个开源的 LLM 知识编译引擎,旨在将原始文档转化为结构化的本地优先 Wiki。它解决了传统 RAG 系统在可解释性和可维护性上的痛点,★ 2,030
Atomic-ChatAtomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎,旨在让用户完全离线、私密地运行开源大模型。它基于 TypeScript 构建,深度集成★ 2,007
ObserverObserver 是一个用 TypeScript 编写的开源 AI 智能体项目,核心思路是让计算机替你观察屏幕,而不是由人一直盯着。它通过持续截取并理解屏幕内容★ 1,805
row-botRow-Bot 是一个本地优先的个人 AI 助手,旨在实现个人 AI 主权。它集成了多种工具,包括个人知识图谱、语音交互、视觉识别、Shell 命令执行、浏览器★ 1,687
nobodywhoNobodyWho 是一个用 Rust 编写的本地 LLM 推理引擎,旨在让任何设备都能高效运行大语言模型。它解决了在资源受限设备(如手机、嵌入式设备)上部署 ★ 1,676
ouroborosOuroboros 是一个自我进化的 AI 智能体框架,于 2026 年 2 月诞生,旨在解决传统智能体依赖人工预设流程、缺乏自主迭代能力的问题。其核心能力包括★ 1,665
vllm-mlxvllm-mlx 是一个专为 Apple Silicon 芯片设计的开源推理服务器,兼容 OpenAI 和 Anthropic API 协议。它解决了在 Mac★ 1,655
wuphfwuphf 是一个由 Nex.ai 开发的智能体协作平台,旨在让用户快速组建一个由多个 AI 助手组成的“个人办公室”。这些 AI 助手能够共享上下文,协同完成★ 1,575
gawkbotgawkbot 是一个用 Go 编写的开源 AI 自动化机器人,定位为 Grok Bot 的开源替代方案。它通过接入大语言模型(如 Claude、Codex 等★ 1,575
mlx-tunemlx-tune 是一个专为 Apple Silicon Mac 设计的 LLM 微调工具,基于 MLX 框架原生运行,让开发者无需云端 GPU 即可在本地完成★ 1,472
Soul-of-WaifuSoul of Waifu 是一款桌面端 AI 角色扮演与陪伴应用,旨在为二次元角色注入灵魂。它支持 Live2D 和 VRM 模型,让角色以生动形象出现在桌面★ 1,461
obseiObsei 是一个低代码 AI 自动化工具,用 Python 编写,面向需要从海量文本中提取商业信号的团队。它把数据采集、文本分析与通知推送串成可视化工作流:可★ 1,452
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo(gfx1151)平台的本地大模型推理部署脚本,目标是让用户以最快速度在搭载该★ 1,353
ollama-guiollama-gui 是一个基于 TypeScript 和 Vue 构建的 Web 界面,用于通过 Ollama API 与本地大语言模型对话。它解决的核心问题★ 1,270
Dark-MoonDark-Moon 是一个自主 AI 渗透测试引擎,旨在持续对 Web、云、身份、CI/CD、IaC、数据库、Active Directory、Kubernet★ 1,238
awesome-ai-companion这是一个精选开源项目列表,专注于构建长期AI伴侣关系的技术栈,涵盖前端、后端、记忆系统、硬件载体和世界集成。它解决了AI伴侣领域资源分散、难以入门的问题,为开发★ 1,220
backburnerbackburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难以流畅运行 27B 级模型的问题,通过★ 1,189
PokeClawPokeClaw 是一款运行在 Android 设备上的开源 AI 智能体,旨在让手机完全在本地被 AI 操控,无需云端或 API 密钥。它基于 Gemma 4★ 1,157
agents-from-scratch一个从第一性原理出发构建 AI 智能体的实战教程项目,全程使用本地 LLM,不依赖任何框架、云 API 或隐藏推理,带你一步步理解智能体的真实工作原理,适合想彻★ 1,076
PolyStrataPolyStrata 是一个用 C++ 编写的本地大模型推理引擎,目标是在个人电脑上直接运行多种主流开源大模型。项目包含两套引擎:一套基于 Strata 引擎运★ 1,056
BoxBox 是 Android 平台上目前最先进的全离线客户端 AI 套件,基于 Kotlin 开发。它解决的是移动端 AI 应用过度依赖云端、隐私泄露和网络受限的★ 1,014
haxhax 是一个极简的终端原生编码智能体,完全用 C 语言编写,专为追求轻量和低依赖的开发者设计。它解决的是传统 AI 编程助手体积臃肿、依赖复杂、难以在纯终端环★ 1,001
resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具,核心思路是把求职流程自动化:用户只需提供目标职位的 URL,工具会抓取★ 965
jevjev 是一个可在笔记本本地运行的开源二分类决策模型,定位为 Jev 的替代方案,专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 965
selfhost-aiselfhost-ai 是一个自托管的 AI 自动化平台,旨在通过一条命令部署 n8n、Ollama、Flowise、RAG、Supabase 等 30 多种 ★ 963