llama-cpp

本站收录 59 个带「llama-cpp」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）

llamafilellamafile 是一个将大语言模型（LLM）及其运行环境打包成单个可执行文件的开源工具，旨在解决 AI 模型分发和部署的复杂性问题。它基于 llama.cp★ 26,089llama-gptllama-gpt 是一个完全自托管的离线聊天机器人，由 Llama 2 模型驱动，提供类似 ChatGPT 的交互体验。它解决了用户在使用云端 AI 服务时对★ 10,936inferenceXinference 是一个统一推理引擎，旨在解决多模型部署与调用碎片化问题。它允许开发者通过修改一行代码，将 GPT 替换为任何开源大语言模型、语音模型或多模★ 9,593SenseVoiceSenseVoice 是阿里开源的语音基础模型，主打多语言语音识别（ASR），支持中文、粤语、英文、日语和韩语。它不仅能转写文字，还集成了语种识别、情感识别和音★ 9,408ODSODS 是一个开源的本地 AI 服务器解决方案，旨在将个人电脑（PC、Mac 或 Linux）转变为功能全面的 AI 中心。它解决了用户对数据隐私、离线可用性和★ 6,900LLamaSharpLLamaSharp 是一个面向 C#/.NET 开发者的本地大语言模型推理库，基于 llama.cpp 的高效 C++ 内核封装，提供纯托管代码的 API 接★ 3,804OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱，目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,177DeepCameraDeepCamera 是一个开源的 AI 摄像头技能平台，定位为智能 NVR 和闭路监控系统。它解决传统监控只能录像、无法理解视频内容的问题，通过本地 VLM（★ 3,079luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器，用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是：在非数据中★ 2,885maidMaid 是一款免费开源的 AI 对话助手应用，主要面向移动端（Android），同时也支持桌面端。它解决了用户在不同 AI 模型服务之间切换的痛点，既能本地连★ 2,710atomic-agentatomic-agent 是一个本地优先的 AI 智能体框架，专为本地大语言模型优化设计。它解决了云端 AI 依赖网络、隐私泄露和上下文受限的问题，让用户完全在★ 2,562forgeforge 是一个 Python 框架，专为自托管大语言模型（LLM）的工具调用和多步智能体工作流而设计。它解决了在本地或私有环境中构建复杂 AI 代理时，如何★ 2,250node-llama-cppnode-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库，让你能在本地机器上直接运行 AI 模型（如 Llama、Mistral★ 2,186LLMUnityLLMUnity 是一个让开发者能在 Unity 引擎中轻松集成大语言模型（LLM）的开源插件。它解决了游戏开发中为 NPC（非玩家角色）赋予智能对话能力的痛点★ 1,717Fun-ASRFun-ASR 是一个基于大语言模型的开源语音识别（ASR）模型家族，专注于中文、方言、口音及多语言场景。它提供多种运行时支持，包括 FunASR、vLLM、流★ 1,555Llama-macOSLlama-macOS 是一个用 Swift 编写的 macOS 原生应用，为本地大语言模型提供一个舒适易用的运行环境。它基于 llama.cpp 推理后端，让★ 1,523llama.gollama.go 是一个用纯 Go 语言实现的 LLaMA 模型推理库，目标是为 Go 开发者提供类似 llama.cpp 的本地大模型运行能力。它解决了 Go★ 1,404resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具，核心思路是把求职流程自动化：用户只需提供目标职位的 URL，工具会抓取★ 1,132jevjev 是一个可在笔记本本地运行的开源二分类决策模型，定位为 Jev 的替代方案，专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 1,132compose-for-agentscompose-for-agents 是一个基于 Docker Compose 编排 AI 代理的开源项目，旨在简化多智能体系统的构建与运行。它提供了一系列开箱★ 1,047llama.rnllama.rn 是 llama.cpp 的 React Native 绑定库，让开发者能在 iOS 和 Android 原生应用里直接运行本地大语言模型，无需★ 1,045cotabbyCotabby 是一款面向 Mac 的本地 AI 自动补全工具，基于 llama.cpp 和 Swift 构建，完全开源且数据不出设备。它能在系统全局的任意输入★ 1,043SiliconScopeSiliconScope 是一款面向 Apple Silicon Mac 的原生系统监控工具，用 SwiftUI 编写，无需 sudo 权限即可运行。它解决的核★ 966overlay-translatoroverlay-translator 是一款无需 ROOT 的 Android 屏幕实时翻译工具，专为游戏、视觉小说和漫画场景设计。它通过屏幕叠加层捕获文字区域★ 920haxhax 是一个极简的终端原生编码智能体，完全用 C 语言编写，专为追求轻量和低依赖的开发者设计。它解决的是传统 AI 编程助手体积臃肿、依赖复杂、难以在纯终端环★ 839BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE（混合专家）大模型跑在内存不足设备上的推理方案，核心思路是流式加载专家权重：模型的总参数量可以远超设备 RAM，但每次★ 595llmmanllmman 是一个用 Rust 编写的模型与 Agent 运行管理工具，核心思路是把大语言模型当作 OCI 镜像来存储和分发，让模型像 Docker 镜像一样★ 523Audar-ASR-V1Audar-ASR-V1 是一个以阿拉伯语优先的生成式语音识别（ASR）开源项目，旨在解决阿拉伯语及其方言的语音转文本难题。它提供 Flash 和 Turbo ★ 508cataicatai 是一个面向 Node.js 开发者的本地 AI 助手运行工具，旨在简化在本地环境中部署和调用大语言模型（LLM）的流程。它基于 llama-cpp ★ 500CraneCrane 是一个基于纯 Rust 构建的 LLM、VLM、VLA、TTS、OCR 推理引擎，底层依赖 Candle 框架。它的目标是成为 llama.cpp ★ 488TurboLLMTurboLLM 是一个面向本地大模型推理的基础设施工具，用 TypeScript 编写，目标是让任何人都能在自己的显卡上跑起任意本地 LLM 引擎。它自动检测★ 278OmniSpaceOmniSpace 是一个本地优先的全栈 AI 创作工作站，把 AI 对话、AI 漫画、漫剧创作、写作台和知识学习五个模块整合到一个应用里。它主要解决创作者在本★ 270LLMKubeLLMKube 是一个 Kubernetes Operator，用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是：家里或公司机房里混着 NVIDI★ 220ClawMemClawMem 是一个为 AI 智能体设计的本地优先（on-device）记忆层，旨在解决智能体在长期对话或任务中缺乏持久记忆的问题。它通过 Hooks（钩子）★ 212ETOS-LLM-StudioETOS-LLM-Studio 是一款专为 iOS 和 Apple Watch 设计的原生大语言模型客户端，旨在让用户在苹果生态中便捷地使用本地或云端 AI 模★ 207LlamatikLlamatik 是一个面向 Kotlin Multiplatform 的端侧 AI 框架，旨在让 Android、iOS、桌面、JVM 和 WASM 平台都能★ 200toshllmtoshllm 是一款原生 macOS 应用，专为搭载 AMD 显卡的 Intel Mac（含黑苹果/Hackintosh 机器）提供本地大语言模型运行能力。传★ 196BlahSTBlahST 是一个面向 Linux 桌面的语音输入与对话工具，基于 whisper.cpp 实现完全离线的语音转文字，可在任意窗口中快速输入文本，同时通过 l★ 177ai-git-botai-git-bot 是一个自托管的 AI 工作流自动化平台，专为 Git 仓库设计。它通过连接 GitHub、GitLab、Gitea 和 Bitbucket★ 177ram-coffersram-coffers 是一个面向 LLM 推理的基础设施优化项目，通过 NUMA 感知的权重银行（weight banking）技术，在 refurbishe★ 170PopTransPopTrans 是一款面向 Windows 的本地离线翻译工具，基于 Go、Wails 与 llama.cpp 构建，核心卖点是不依赖 GPU、纯 CPU 即★ 160ComfyUI-MiniCPMComfyUI-MiniCPM 是一个为 ComfyUI 设计的自定义节点，用于集成 MiniCPM 视觉语言模型。它支持 MiniCPM v4、v4.5 以及★ 157docmind-ai-llmDocMind AI 是一个基于 Streamlit 的开源文档分析应用，核心思路是把 LlamaIndex、LangGraph 与本地大模型串起来，让用户在自★ 155dub-studiodub-studio 是一款面向 Windows 的免费离线 AI 视频配音工具，以单个原生 .exe 形式分发，无需安装 Python 环境。它解决视频本地化★ 136model-serving-minefieldmodel-serving-minefield 是一个社区维护的 LLM 推理服务“踩坑登记册”，专门收集那些会让测量结果看似正常、实则自信地给出错误结论的陷阱★ 134CustomCharCustomChar 是一个基于 C++ 的轻量级 AI 助手框架，旨在让开发者将定制化的语音助手部署到任意硬件上，包括嵌入式设备和低功耗平台。它整合了 lla★ 121HilbertRaumHilbertRaum 是一个完全本地运行的 AI 知识搜索工具，基于 TypeScript 开发，核心是让用户在自己的电脑上离线使用大语言模型和知识库。它整合★ 118ajeanajean 是一个用 Go 编写的本地 AI 助手，把模型推理、对话、持久记忆、联网搜索、浏览器控制、MCP 工具调用、静态加密和端到端加密远程访问全部打包进单★ 114InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无需依赖云端即可运行 AI 模★ 112InsightSolver-ColabInsightSolver-Colab 是一个专注于 AIOps（智能运维）的 Colab 笔记本集合，旨在通过深度学习、机器学习及相关模型，帮助用户探索和解决★ 105

相关标签

llm3266gguf46ai2634local-llm120self-hosted434local-ai95rag1157llama242edge-ai32ai-agents1772speech-to-text260openai1188