llamacpp
本站收录 58 个带「llamacpp」标签的 AI 开源项目（按 GitHub 星标从高到低，此处展示前 50 个）
janJan 是一款开源的 ChatGPT 替代品，致力于让 AI 完全离线运行在个人电脑上。它基于 Tauri 构建，界面轻量，支持 Windows、macOS 和★ 44,708
khoj可自托管的 AI 第二大脑，支持联网搜索与本地文档问答，能构建自定义智能体、定时自动化任务并进行深度研究。可将 GPT、Claude、Gemini、Llama、★ 37,537
llmwarellmware 是一个面向企业级 RAG（检索增强生成）场景的统一框架，专注于使用小型、专用模型构建高效、可控的 AI 应用。它解决了企业在落地大模型时面临的成★ 14,828
llama-gptllama-gpt 是一个完全自托管的离线聊天机器人，由 Llama 2 模型驱动，提供类似 ChatGPT 的交互体验。它解决了用户在使用云端 AI 服务时对★ 10,936
runanywhere-sdksrunanywhere-sdks 是一个面向生产环境的 C++ 工具包，旨在让 AI 模型在本地设备上高效运行。它解决了云端推理带来的延迟、隐私和成本问题，提供★ 10,318
inferenceXinference 是一个统一推理引擎，旨在解决多模型部署与调用碎片化问题。它允许开发者通过修改一行代码，将 GPT 替换为任何开源大语言模型、语音模型或多模★ 9,593
reorreor 是一款面向高熵人群的本地优先、注重隐私的个人知识管理应用。它利用 AI 技术（如嵌入模型和向量检索）自动建立笔记之间的语义关联，帮助用户在大量碎片化信★ 8,549
cactuscactus 是一个专为移动设备、可穿戴设备、智能家居和机器人等边缘场景设计的轻量级 AI 推理引擎。它解决了在资源受限的硬件上高效运行深度学习模型的问题，核心★ 6,080
gptmegptme 是一个运行在终端里的 AI 代理，它直接在你的命令行环境中工作，能写代码、执行终端命令、浏览网页，并利用本地工具完成复杂任务。它解决了开发者在 ID★ 4,438
spark-nlpspark-nlp 是一个基于 Apache Spark 和 Spark ML 构建的自然语言处理库，提供生产级、可扩展的 NLP 解决方案。它解决了在大数据环★ 4,158
LLamaSharpLLamaSharp 是一个面向 C#/.NET 开发者的本地大语言模型推理库，基于 llama.cpp 的高效 C++ 内核封装，提供纯托管代码的 API 接★ 3,804
twinnytwinny 是一款 Visual Studio Code 的 AI 代码补全与对话插件，定位是 GitHub Copilot 的免费替代方案。它支持本地模型和★ 3,653
Bonsai-demoBonsai-demo 是一个基于 Shell 脚本的开源项目，旨在通过简洁的演示代码展示 Bonsai 模型的核心能力。它解决了开发者快速上手 Bonsai ★ 3,240
AGiXTAGiXT 是一个动态的 AI 智能体自动化平台，旨在统一编排和管理来自不同 AI 提供商的指令与复杂任务执行。它通过自适应记忆、智能特性和灵活的插件系统，解决★ 3,218
lsp-aiLSP-AI 是一个基于 Rust 的开源语言服务器，作为 AI 驱动功能的通用后端，旨在辅助而非替代软件工程师。它解决了开发者在编辑器中难以统一接入多种 AI★ 3,209
ramalamaRamaLama 是一个开源开发者工具，旨在简化 AI 模型的本地部署与推理流程。它通过容器化技术，让开发者能够从任何来源（如 HuggingFace、Olla★ 3,064
kalosmkalosm 是一个用 Rust 编写的本地预训练 AI 模型推理框架，旨在让开发者能够以极低的延迟和完全可控的方式在本地运行大语言模型、语音识别和图像生成等模★ 2,229
DotDot 是一个完全本地化的 AI 音频工具集，专注于文本转语音（TTS）、检索增强生成（RAG）和大语言模型（LLM）的整合。它解决了用户对数据隐私和离线使用的★ 1,913
paddlerpaddler 是一个用 Rust 编写的开源 LLM/VLM 负载均衡与服务平台，专为自托管大语言模型和多模态模型的大规模部署而设计。它围绕 ggml 生态构★ 1,676
Atomic-ChatAtomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎，旨在让用户完全离线、私密地运行开源大模型。它基于 TypeScript 构建，深度集成★ 1,650
generative_ai_with_langchain这是《Generative AI with LangChain》一书的配套代码仓库，面向希望用Python、LangChain和LangGraph构建生产级LL★ 1,430
OllamaSharpOllamaSharp 是 .NET 生态中最简单的 Ollama 客户端库，旨在让 C# 开发者无缝调用本地或远程的 Ollama 推理服务。它解决了 .NE★ 1,404
gpu_poorgpu_poor 是一个用于估算任意大语言模型（LLM）在本地部署时所需 GPU 显存和推理速度（token/s）的命令行工具。它通过解析模型的参数量、量化方式★ 1,400
Soul-of-WaifuSoul of Waifu 是一款桌面端 AI 角色扮演与陪伴应用，旨在为二次元角色注入灵魂。它支持 Live2D 和 VRM 模型，让角色以生动形象出现在桌面★ 1,361
modelfusionModelFusion 是一个用于构建 AI 应用的 TypeScript 库，旨在为开发者提供一套统一、类型安全的接口来集成多种大语言模型（LLM）、嵌入模型★ 1,319
llm-lsllm-ls 是一个用 Rust 编写的 LSP（语言服务器协议）服务器，核心目标是把大语言模型接入各类代码编辑器，提供代码补全等智能辅助能力。它本身不绑定特定★ 883
BoxBox 是 Android 平台上目前最先进的全离线客户端 AI 套件，基于 Kotlin 开发。它解决的是移动端 AI 应用过度依赖云端、隐私泄露和网络受限的★ 880
FineTuningLLMs这是一个配套书籍《使用PyTorch和Hugging Face微调LLMs的实践指南》的官方代码仓库，以Jupyter Notebook形式提供大量可运行的微调★ 869
llama3.javallama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库，无需依赖 C/C++ 或 Python 环境，即可在 JVM ★ 818
ComfyUI-IF_AI_toolsComfyUI-IF_AI_tools 是一组为 ComfyUI 设计的自定义节点，通过 Ollama 调用本地大语言模型（LLM）来生成和优化图像生成提示词。★ 700
teneretenere 是一个用 Rust 编写的终端用户界面（TUI）应用，旨在为大型语言模型（LLMs）提供统一的命令行交互入口。它解决的是在终端中与不同 LLM 后★ 685
yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架，目标是让 Go 开发者无需依赖 CGO 或外部服务，就能在应用中嵌入大语言模型和多模★ 642
LynkrLynkr 是一个命令行工具，充当 HTTP 代理，专门用于优化 Claude Code CLI 的代码交互流程。它解决了开发者在与 AI 编程助手交互时，网络★ 605
Spark-X2.5Spark-X2.5 是一个面向端侧设备的开源大模型系列，目标是在手机、笔记本等本地硬件上把智能体（Agent）能力推到极限。它解决的核心问题是：云端大模型调用★ 498
ImageIndexerImageIndexer 是一个本地优先的图像索引与标注工具，用 Python 编写。它解决的是个人或小团队海量图片难以检索和管理的问题。核心能力是自动扫描指定★ 397
HackBotHackBot 是一个由 AI 驱动的网络安全聊天机器人，旨在为网络安全相关问题提供准确、实用的解答，并支持代码分析和扫描分析。它基于 Python 构建，集成★ 365
llmazllmaz 是一个面向 Kubernetes 的大模型推理平台，目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama 等主流推理引擎统一纳★ 315
hass_local_openai_llm这是一个 Home Assistant 的本地 LLM 集成组件，让用户可以直接在 HA 中使用本地运行的 OpenAI 兼容服务（如 llama.cpp、vL★ 289
ollama-operatorollama-operator 是一个用 Go 编写的 Kubernetes Operator，目标是把 Ollama 大语言模型运行时以声明式方式部署到 K8★ 242
CLIOCLIO 是一个运行在终端里的 AI 辅助编程智能体，支持多种 AI 提供商和模型。它旨在帮助开发者直接在命令行环境中完成编码任务，如代码生成、解释、重构等。C★ 231
arrowsarrows 是一个面向创意写作的前端工具，专门为与大型语言模型（LLMs）协作而设计。它解决了作家在使用通用聊天界面进行创作时，上下文管理混乱、故事线难以把控★ 172
docmind-ai-llmDocMind AI 是一个基于 Streamlit 的开源文档分析应用，核心思路是把 LlamaIndex、LangGraph 与本地大模型串起来，让用户在自★ 155
oreilly-hands-on-gpt-llm这是一个配套O'Reilly书籍《Hands-On GPT-LLM》的实战代码仓库，专注于大规模、高效AI模型部署。项目以Jupyter Notebook形式提★ 145
llm_telegram_bot这是一个基于 Python 的 Telegram 机器人，用于与大型语言模型（LLM）进行交互。它解决了在 Telegram 聊天界面中便捷使用 LLM 的问题★ 135
SAMSAM（Synthetic Autonomic Mind）是一个面向所有人的本地 AI 助手，基于 Swift 开发，专为 Apple 生态（尤其是 Apple★ 130
llm-interfacellm-interface 是一个轻量级的 JavaScript 接口库，旨在统一对接 36 家主流大语言模型提供商，包括 OpenAI、Anthropic、G★ 123
chat-llama-discord-bot这是一个将大型语言模型接入 Discord 的聊天机器人项目。它解决了在 Discord 服务器中直接使用 LLaMA、Vicuna、Alpaca、MPT 等开★ 119
VT.aiVT.ai 是一个多模态 AI 聊天应用，核心特点是动态对话路由。它基于 Python 构建，集成了多种主流 LLM 后端（如 OpenAI、Ollama、ll★ 118
local-chatLocalChat 是一款运行在本地电脑上的类 ChatGPT 聊天应用，基于 Electron 和 TypeScript 构建。它利用 llama.cpp 和★ 115
InferrLMInferrLM 是一个面向 iOS 和 Android 的端侧 AI 推理框架，基于 TypeScript 构建，旨在让移动应用无需依赖云端即可运行 AI 模★ 112