
qwen.cpp
用 C++ 在本地快速跑通 Qwen 模型,无需 Python 环境。
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 626
使用教程
环境要求
- C 工具链
- 对应模型权重
安装与启动步骤
-
1先看清楚状态
仓库顶部写明已停止主动维护,功能早已并入更大的推理项目。
-
2改用替代项目
要跑同类模型直接去那个项目,格式与工具链都已互通。
git clone https://github.com/ggerganov/llama.cpp -
3旧代码仅作参考
需要看纯 C++ 实现思路时再回来读它的结构。
如何确认成功
能在替代项目里加载同类模型并完成一次流式生成,而不是在本仓库里处理旧格式
注意事项
- 本项目已停止维护,不再处理 issue 也不再发版,新项目请直接用替代方案。
- 它的历史意义是把中文大模型带进了轻量 C++ 推理生态。
- 当年支持的模型格式已被新标准取代,权重多半要重新转换。
- README 里的编译命令仅用于复现历史版本。
核心亮点
- 纯 C++ 实现,启动快、内存占用低,适合嵌入式或边缘设备
- 支持模型量化,降低硬件门槛,普通 CPU 也能运行
- 提供简单 API,易于集成到现有 C++ 项目中
不足之处
- 项目早期,功能尚不完善,可能缺少高级特性
- 文档和社区支持相对薄弱,上手需一定 C++ 基础
适用场景
- 在无 GPU 的服务器或 PC 上离线运行 Qwen 对话模型
- 嵌入式设备或移动端集成轻量级 AI 助手
- 需要低延迟、高吞吐的本地推理服务
替代项目
llama.cpp、ggml、ollama
同类项目推荐
TurboDiffusion
开源
出片快上百倍,画质依然在线
TurboDiffusion: 100–200× Acceleration for Video Diffusion Models
tt-metal
开源
用 Tenstorrent 硬件跑 AI 模型,底层算子与内核编程一手掌控
:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.
WaLiAPI
开源
把多家大模型渠道收进本地网关,一个地址喂给所有 AI 编程工具
WaLiAPI 是一款本地运行的 LLM API 网关桌面软件(Tauri 2 + React + Rust)。支持各类 LL···
LARS
开源
本地跑大模型,读你的文档,回答带引用
An application for running LLMs locally on your device, with your documents, facilit···
ephemeral-sandbox
开源
让多个编码AI并行干活,互不干扰,结果可靠发布
Open-source agent sandbox infrastructure for parallel coding agents: isolated worksp···
vllm.cpp
开源
C++ 重写 vLLM,连续批处理加前缀缓存,推理吞吐更高
a community oriented 1:1, vLLM-alike (Continuous batching, paged KV) engine in C++ w···
axern
开源
给 AI 代理一个安全沙箱,放心跑代码、跑服务
Self-hosted execution platform for AI agents, powered by gVisor.
agent-infer
开源
基于 vLLM 的智能体推理后端,多轮工具调用更省心
vLLM based inference framework for agentic workload.
biniou
开源
一个界面搞定 30+ 生成式 AI,本地部署即开即用
a self-hosted webui for 30+ generative ai