llama-cpp 第 1 页
本站收录 84 个带「llama-cpp」标签的 AI 开源项目(按 GitHub 星标从高到低,第 1 / 2 页)
llamafilellamafile 是一个将大语言模型(LLM)及其运行环境打包成单个可执行文件的开源工具,旨在解决 AI 模型分发和部署的复杂性问题。它基于 llama.cp★ 26,651
FluidVoiceFluidVoice 是一款面向 macOS 的本地语音听写应用,使用 Swift 开发,核心是把语音识别(STT)全部放在设备端完成,并叠加了自训练的 AI ★ 13,092
llama-gptllama-gpt 是一个完全自托管的离线聊天机器人,由 Llama 2 模型驱动,提供类似 ChatGPT 的交互体验。它解决了用户在使用云端 AI 服务时对★ 10,924
SenseVoiceSenseVoice 是阿里开源的语音基础模型,主打多语言语音识别(ASR),支持中文、粤语、英文、日语和韩语。它不仅能转写文字,还集成了语种识别、情感识别和音★ 9,763
inferenceXinference 是一个统一推理引擎,旨在解决多模型部署与调用碎片化问题。它允许开发者通过修改一行代码,将 GPT 替换为任何开源大语言模型、语音模型或多模★ 9,660
ODSODS 是一个开源的本地 AI 服务器解决方案,旨在将个人电脑(PC、Mac 或 Linux)转变为功能全面的 AI 中心。它解决了用户对数据隐私、离线可用性和★ 7,836
DigUpDigUp 是一款面向 macOS 的本地语义搜索工具,解决传统文件名搜索无法按内容查找文件的问题。它基于 Google DeepMind 的 Embeddin★ 6,441
LLamaSharpLLamaSharp 是一个面向 C#/.NET 开发者的本地大语言模型推理库,基于 llama.cpp 的高效 C++ 内核封装,提供纯托管代码的 API 接★ 3,826
atomic-agentatomic-agent 是一个本地优先的 AI 智能体框架,专为本地大语言模型优化设计。它解决了云端 AI 依赖网络、隐私泄露和上下文受限的问题,让用户完全在★ 3,691
claude-code-localclaude-code-local 是一个让 Claude Code 完全在 Apple Silicon 设备本地运行的开源方案。它用 MLX 原生实现了 An★ 3,514
OGAMOGAM 是一款面向手机和 Mac 的离线 AI 全能工具箱,目标是把原本依赖云端 API 的多种 AI 能力全部搬到本地设备上运行。它基于 GGUF 格式的本★ 3,382
DeepCameraDeepCamera 是一个开源的 AI 摄像头技能平台,定位为智能 NVR 和闭路监控系统。它解决传统监控只能录像、无法理解视频内容的问题,通过本地 VLM(★ 3,144
luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器,用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是:在非数据中★ 3,009
maidMaid 是一款免费开源的 AI 对话助手应用,主要面向移动端(Android),同时也支持桌面端。它解决了用户在不同 AI 模型服务之间切换的痛点,既能本地连★ 2,778
forgeforge 是一个 Python 框架,专为自托管大语言模型(LLM)的工具调用和多步智能体工作流而设计。它解决了在本地或私有环境中构建复杂 AI 代理时,如何★ 2,270
node-llama-cppnode-llama-cpp 是一个将 llama.cpp 绑定到 Node.js 的库,让你能在本地机器上直接运行 AI 模型(如 Llama、Mistral★ 2,207
Llama-macOSLlama-macOS 是一个用 Swift 编写的 macOS 原生应用,为本地大语言模型提供一个舒适易用的运行环境。它基于 llama.cpp 推理后端,让★ 1,829
yogurtyogurt 是一款本地优先的 AI 会议记录工具,定位为 Granola 的免费开源替代品,支持 macOS、Windows 和 Linux。它解决的核心问题★ 1,820
ObserverObserver 是一个用 TypeScript 编写的开源 AI 智能体项目,核心思路是让计算机替你观察屏幕,而不是由人一直盯着。它通过持续截取并理解屏幕内容★ 1,808
StartLux-DecisionStartLux-Decision 是一组带类型约束的决策模型,参数规模覆盖 0.8B 到 35B-A3B(MoE 架构),支持文本与图像输入,上下文长度达 2★ 1,755
LLMUnityLLMUnity 是一个让开发者能在 Unity 引擎中轻松集成大语言模型(LLM)的开源插件。它解决了游戏开发中为 NPC(非玩家角色)赋予智能对话能力的痛点★ 1,740
Fun-ASRFun-ASR 是一个基于大语言模型的开源语音识别(ASR)模型家族,专注于中文、方言、口音及多语言场景。它提供多种运行时支持,包括 FunASR、vLLM、流★ 1,611
llama.gollama.go 是一个用纯 Go 语言实现的 LLaMA 模型推理库,目标是为 Go 开发者提供类似 llama.cpp 的本地大模型运行能力。它解决了 Go★ 1,404
overlay-translatoroverlay-translator 是一款无需 ROOT 的 Android 屏幕实时翻译工具,专为游戏、视觉小说和漫画场景设计。它通过屏幕叠加层捕获文字区域★ 1,326
backburnerbackburner 是一个把 iPhone 变成 Mac 本地大模型推理协处理器的开源项目。它针对 Mac 内存有限、难以流畅运行 27B 级模型的问题,通过★ 1,190
cotabbyCotabby 是一款面向 Mac 的本地 AI 自动补全工具,基于 llama.cpp 和 Swift 构建,完全开源且数据不出设备。它能在系统全局的任意输入★ 1,113
compose-for-agentscompose-for-agents 是一个基于 Docker Compose 编排 AI 代理的开源项目,旨在简化多智能体系统的构建与运行。它提供了一系列开箱★ 1,074
llama.rnllama.rn 是 llama.cpp 的 React Native 绑定库,让开发者能在 iOS 和 Android 原生应用里直接运行本地大语言模型,无需★ 1,074
haxhax 是一个极简的终端原生编码智能体,完全用 C 语言编写,专为追求轻量和低依赖的开发者设计。它解决的是传统 AI 编程助手体积臃肿、依赖复杂、难以在纯终端环★ 1,002
resume_render_from_job_descriptionResume_Builder_AIHawk 是一个基于 Python 的开源简历定制工具,核心思路是把求职流程自动化:用户只需提供目标职位的 URL,工具会抓取★ 967
jevjev 是一个可在笔记本本地运行的开源二分类决策模型,定位为 Jev 的替代方案,专门回答“是/否”这类简单判断问题。它基于 llama.cpp 与 GGUF ★ 967
humanizer-local-modelhumanizer-local-model 是一个用 Python 编写的本地文本改写工具,目标是把 AI 生成的草稿改写成更接近真人写作的版本,同时尽量保留原★ 961
BigMoeOnEdgeBigMoeOnEdge 是一个让 MoE(混合专家)大模型跑在内存不足设备上的推理方案,核心思路是流式加载专家权重:模型的总参数量可以远超设备 RAM,但每次★ 924
PS5LMPS5LM 是一个把 llama.cpp 移植到已越狱 PlayStation 5 上的开源项目,目标是让主机原生运行任意 GGUF 格式的大语言模型,首个适配★ 851
kapitsakapitsa 是一个面向 Apple Silicon 的本地大模型推理引擎,用 C++ 编写,针对 Qwen 与 Nemotron 系列模型做了底层优化,目标★ 810
LLM-HubLLM-Hub 是一个本地 AI 助手,专注于图像生成领域,但实际覆盖多模态能力。它基于 C++ 构建,集成多种主流大语言模型(如 Gemma、Llama、Mi★ 655
llmmanllmman 是一个用 Rust 编写的模型与 Agent 运行管理工具,核心思路是把大语言模型当作 OCI 镜像来存储和分发,让模型像 Docker 镜像一样★ 590
hobhob 是一款基于 Electron 与 TypeScript 构建的桌面端本地 AI 对话助手,目标是在个人电脑上以更简单的方式运行开源权重模型(如 Gemm★ 547
OmniSpaceOmniSpace 是一个本地优先的全栈 AI 创作工作站,把 AI 对话、AI 漫画、漫剧创作、写作台和知识学习五个模块整合到一个应用里。它主要解决创作者在本★ 535
CraneCrane 是一个基于纯 Rust 构建的 LLM、VLM、VLA、TTS、OCR 推理引擎,底层依赖 Candle 框架。它的目标是成为 llama.cpp ★ 530
Audar-ASR-V1Audar-ASR-V1 是一个以阿拉伯语优先的生成式语音识别(ASR)开源项目,旨在解决阿拉伯语及其方言的语音转文本难题。它提供 Flash 和 Turbo ★ 503
cataicatai 是一个面向 Node.js 开发者的本地 AI 助手运行工具,旨在简化在本地环境中部署和调用大语言模型(LLM)的流程。它基于 llama-cpp ★ 499
bc250bc250 是一份面向 AMD BC-250(PS5 同款 APU 主板)的开源配置指南与脚本集合,目标是把这块廉价硬件变成可用的本地 AI 推理平台。它解决的★ 431
strix-halo-guidestrix-halo-guide 是一份针对 AMD Strix Halo(GFX1151,如 Radeon 8060S)平台本地 AI 部署的实测指南与基准测★ 372
MACaQMACaQ 是一个模型无关的量化工具,面向 GGUF 格式与本地推理场景。它解决的核心问题是:不同模态、不同推理框架的模型往往需要各自独立的量化流程,导致部署成★ 319
gguf-parser-gogguf-parser-go 是一个用 Go 编写的 GGUF 文件解析与审查工具,主要面向本地大模型和扩散模型的部署场景。GGUF 是 llama.cpp 生★ 313
TurboLLMTurboLLM 是一个面向本地大模型推理的基础设施工具,用 TypeScript 编写,目标是让任何人都能在自己的显卡上跑起任意本地 LLM 引擎。它自动检测★ 296
dub-studiodub-studio 是一款面向 Windows 的免费离线 AI 视频配音工具,以单个原生 .exe 形式分发,无需安装 Python 环境。它解决视频本地化★ 282
LLMKubeLLMKube 是一个 Kubernetes Operator,用于在异构 GPU 集群上自托管大模型推理。它解决的核心问题是:家里或公司机房里混着 NVIDI★ 267