llamacpp 第 1 页
本站收录 64 个带「llamacpp」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)
janJan 是一款开源的 ChatGPT 替代品,致力于让 AI 完全离线运行在个人电脑上。它基于 Tauri 构建,界面轻量,支持 Windows、macOS 和★ 45,727
khoj可自托管的 AI 第二大脑,支持联网搜索与本地文档问答,能构建自定义智能体、定时自动化任务并进行深度研究。可将 GPT、Claude、Gemini、Llama、★ 38,130
llmwarellmware 是一个面向企业级 RAG(检索增强生成)场景的统一框架,专注于使用小型、专用模型构建高效、可控的 AI 应用。它解决了企业在落地大模型时面临的成★ 14,822
llama-gptllama-gpt 是一个完全自托管的离线聊天机器人,由 Llama 2 模型驱动,提供类似 ChatGPT 的交互体验。它解决了用户在使用云端 AI 服务时对★ 10,923
runanywhere-sdksrunanywhere-sdks 是一个面向生产环境的 C++ 工具包,旨在让 AI 模型在本地设备上高效运行。它解决了云端推理带来的延迟、隐私和成本问题,提供★ 10,346
inferenceXinference 是一个统一推理引擎,旨在解决多模型部署与调用碎片化问题。它允许开发者通过修改一行代码,将 GPT 替换为任何开源大语言模型、语音模型或多模★ 9,656
reorreor 是一款面向高熵人群的本地优先、注重隐私的个人知识管理应用。它利用 AI 技术(如嵌入模型和向量检索)自动建立笔记之间的语义关联,帮助用户在大量碎片化信★ 8,531
shimmyshimmy 是一个用纯 Rust 编写的 WebGPU 推理引擎,目标是让本地大模型推理摆脱 Python 运行时和 llama.cpp 依赖。它以单个二进制★ 6,015
spark-nlpspark-nlp 是一个基于 Apache Spark 和 Spark ML 构建的自然语言处理库,提供生产级、可扩展的 NLP 解决方案。它解决了在大数据环★ 4,163
LLamaSharpLLamaSharp 是一个面向 C#/.NET 开发者的本地大语言模型推理库,基于 llama.cpp 的高效 C++ 内核封装,提供纯托管代码的 API 接★ 3,826
twinnytwinny 是一款 Visual Studio Code 的 AI 代码补全与对话插件,定位是 GitHub Copilot 的免费替代方案。它支持本地模型和★ 3,699
Bonsai-demoBonsai-demo 是一个基于 Shell 脚本的开源项目,旨在通过简洁的演示代码展示 Bonsai 模型的核心能力。它解决了开发者快速上手 Bonsai ★ 3,521
AGiXTAGiXT 是一个动态的 AI 智能体自动化平台,旨在统一编排和管理来自不同 AI 提供商的指令与复杂任务执行。它通过自适应记忆、智能特性和灵活的插件系统,解决★ 3,218
lsp-aiLSP-AI 是一个基于 Rust 的开源语言服务器,作为 AI 驱动功能的通用后端,旨在辅助而非替代软件工程师。它解决了开发者在编辑器中难以统一接入多种 AI★ 3,214
ramalamaRamaLama 是一个开源开发者工具,旨在简化 AI 模型的本地部署与推理流程。它通过容器化技术,让开发者能够从任何来源(如 HuggingFace、Olla★ 3,113
kalosmkalosm 是一个用 Rust 编写的本地预训练 AI 模型推理框架,旨在让开发者能够以极低的延迟和完全可控的方式在本地运行大语言模型、语音识别和图像生成等模★ 2,237
Atomic-ChatAtomic-Chat 是一款面向本地智能体的 AI 对话应用与推理引擎,旨在让用户完全离线、私密地运行开源大模型。它基于 TypeScript 构建,深度集成★ 2,007
DotDot 是一个完全本地化的 AI 音频工具集,专注于文本转语音(TTS)、检索增强生成(RAG)和大语言模型(LLM)的整合。它解决了用户对数据隐私和离线使用的★ 1,917
local-studioLocal Studio 是一个面向本地大模型推理引擎的图形化控制面板,主要解决在本地部署和运行 VLLM、SGLang、llama.cpp、exllamav3★ 1,846
paddlerpaddler 是一个用 Rust 编写的开源 LLM/VLM 负载均衡与服务平台,专为自托管大语言模型和多模态模型的大规模部署而设计。它围绕 ggml 生态构★ 1,693
Soul-of-WaifuSoul of Waifu 是一款桌面端 AI 角色扮演与陪伴应用,旨在为二次元角色注入灵魂。它支持 Live2D 和 VRM 模型,让角色以生动形象出现在桌面★ 1,461
generative_ai_with_langchain这是《Generative AI with LangChain》一书的配套代码仓库,面向希望用Python、LangChain和LangGraph构建生产级LL★ 1,459
OllamaSharpOllamaSharp 是 .NET 生态中最简单的 Ollama 客户端库,旨在让 C# 开发者无缝调用本地或远程的 Ollama 推理服务。它解决了 .NE★ 1,414
gpu_poorgpu_poor 是一个用于估算任意大语言模型(LLM)在本地部署时所需 GPU 显存和推理速度(token/s)的命令行工具。它通过解析模型的参数量、量化方式★ 1,405
modelfusionModelFusion 是一个用于构建 AI 应用的 TypeScript 库,旨在为开发者提供一套统一、类型安全的接口来集成多种大语言模型(LLM)、嵌入模型★ 1,321
BoxBox 是 Android 平台上目前最先进的全离线客户端 AI 套件,基于 Kotlin 开发。它解决的是移动端 AI 应用过度依赖云端、隐私泄露和网络受限的★ 1,014
Spark-X2.5Spark-X2.5 是一个面向端侧设备的开源大模型系列,目标是在手机、笔记本等本地硬件上把智能体(Agent)能力推到极限。它解决的核心问题是:云端大模型调用★ 913
SmolChat-AndroidSmolChat-Android 是一个在 Android 设备本地运行 GGUF 格式小语言模型和常规大语言模型的对话应用,基于 Kotlin 与 C++ 实★ 911
llm-lsllm-ls 是一个用 Rust 编写的 LSP(语言服务器协议)服务器,核心目标是把大语言模型接入各类代码编辑器,提供代码补全等智能辅助能力。它本身不绑定特定★ 887
FineTuningLLMs这是一个配套书籍《使用PyTorch和Hugging Face微调LLMs的实践指南》的官方代码仓库,以Jupyter Notebook形式提供大量可运行的微调★ 879
llama3.javallama3.java 是一个纯 Java 实现的 Llama 3 及后续版本的大语言模型推理库,无需依赖 C/C++ 或 Python 环境,即可在 JVM ★ 818
ComfyUI-IF_AI_toolsComfyUI-IF_AI_tools 是一组为 ComfyUI 设计的自定义节点,通过 Ollama 调用本地大语言模型(LLM)来生成和优化图像生成提示词。★ 696
teneretenere 是一个用 Rust 编写的终端用户界面(TUI)应用,旨在为大型语言模型(LLMs)提供统一的命令行交互入口。它解决的是在终端中与不同 LLM 后★ 687
yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架,目标是让 Go 开发者无需依赖 CGO 或外部服务,就能在应用中嵌入大语言模型和多模★ 675
LynkrLynkr 是一个命令行工具,充当 HTTP 代理,专门用于优化 Claude Code CLI 的代码交互流程。它解决了开发者在与 AI 编程助手交互时,网络★ 640
ImageIndexerImageIndexer 是一个本地优先的图像索引与标注工具,用 Python 编写。它解决的是个人或小团队海量图片难以检索和管理的问题。核心能力是自动扫描指定★ 399
HackBotHackBot 是一个由 AI 驱动的网络安全聊天机器人,旨在为网络安全相关问题提供准确、实用的解答,并支持代码分析和扫描分析。它基于 Python 构建,集成★ 366
llmazllmaz 是一个面向 Kubernetes 的大模型推理平台,目标是把 vLLM、SGLang、TGI、llama.cpp、Ollama 等主流推理引擎统一纳★ 314
hass_local_openai_llm这是一个 Home Assistant 的本地 LLM 集成组件,让用户可以直接在 HA 中使用本地运行的 OpenAI 兼容服务(如 llama.cpp、vL★ 312
OfflineLLMOfflineLLM 是一款面向 Android 的本地化 AI 对话应用,核心思路是把大模型完全跑在手机上,不依赖任何云端服务。它通过 llama.cpp 加★ 291
llama_rosllama_ros 是一个把 llama.cpp 与 llava.cpp 封装进 ROS 2 的开源框架,让机器人开发者能直接在 ROS 2 节点里运行 GGU★ 268
ollama-operatorollama-operator 是一个用 Go 编写的 Kubernetes Operator,目标是把 Ollama 大语言模型运行时以声明式方式部署到 K8★ 242
CLIOCLIO 是一个运行在终端里的 AI 辅助编程智能体,支持多种 AI 提供商和模型。它旨在帮助开发者直接在命令行环境中完成编码任务,如代码生成、解释、重构等。C★ 233
jangqJANG 是一个面向 Apple Silicon 的模型量化与推理运行时,核心目标是把原本为 llama.cpp 生态设计的 GGUF 格式模型,转换为可在 M★ 233
arrowsarrows 是一个面向创意写作的前端工具,专门为与大型语言模型(LLMs)协作而设计。它解决了作家在使用通用聊天界面进行创作时,上下文管理混乱、故事线难以把控★ 175
llamactlllamactl 是一个用 Go 编写的本地大模型统一管理与路由工具,面向同时使用 llama.cpp、MLX 和 vLLM 三种推理后端的自托管用户。它解决的★ 161
docmind-ai-llmDocMind AI 是一个基于 Streamlit 的开源文档分析应用,核心思路是把 LlamaIndex、LangGraph 与本地大模型串起来,让用户在自★ 155
oreilly-hands-on-gpt-llm这是一个配套O'Reilly书籍《Hands-On GPT-LLM》的实战代码仓库,专注于大规模、高效AI模型部署。项目以Jupyter Notebook形式提★ 145
llm_telegram_bot这是一个基于 Python 的 Telegram 机器人,用于与大型语言模型(LLM)进行交互。它解决了在 Telegram 聊天界面中便捷使用 LLM 的问题★ 135
SAMSAM(Synthetic Autonomic Mind)是一个面向所有人的本地 AI 助手,基于 Swift 开发,专为 Apple 生态(尤其是 Apple★ 133