qwen.cpp

用 C++ 在本地快速跑通 Qwen 模型,无需 Python 环境。

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 63 🐛 待处理 68 👀 关注 1 ⚠️ 作者已归档(停止维护)
GitHub ↗
GitHub 星标 ★ 626
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,可自行部署使用。

项目预览

qwen.cpp 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队QwenLM
定价模式🏷️完全免费
价格说明开源项目,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言C++
技术栈/模型large-language-models,qwen
GitHub 星标★ 626
上线时间2023-09-24 00:00:00
代码更新2024-12-06
仓库体积203 KB
本站数据更新2026-11-19
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

qwen.cpp 是一个基于 C++ 实现的 Qwen 大语言模型推理库,旨在将通义千问模型高效地运行在本地设备上。它解决了在资源受限环境(如个人电脑、边缘设备)中部署大模型的问题,通过 C++ 的高性能和轻量级设计,实现了模型的快速加载与推理。核心能力包括模型量化、流式生成、多平台支持等,让开发者无需依赖重型 Python 框架即可集成 Qwen 模型。该项目处于早期阶段,但已具备基本的推理功能,适合对性能敏感或需离线部署的场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 626

使用教程

难度:进阶 约 40 分钟 部署方式:本地构建 3 步

环境要求

  • C 工具链
  • 对应模型权重

安装与启动步骤

  1. 1先看清楚状态

    仓库顶部写明已停止主动维护,功能早已并入更大的推理项目。

  2. 2改用替代项目

    要跑同类模型直接去那个项目,格式与工具链都已互通。

    git clone https://github.com/ggerganov/llama.cpp
  3. 3旧代码仅作参考

    需要看纯 C++ 实现思路时再回来读它的结构。

如何确认成功

能在替代项目里加载同类模型并完成一次流式生成,而不是在本仓库里处理旧格式

注意事项

  • 本项目已停止维护,不再处理 issue 也不再发版,新项目请直接用替代方案。
  • 它的历史意义是把中文大模型带进了轻量 C++ 推理生态。
  • 当年支持的模型格式已被新标准取代,权重多半要重新转换。
  • README 里的编译命令仅用于复现历史版本。

核心亮点

  • 纯 C++ 实现,启动快、内存占用低,适合嵌入式或边缘设备
  • 支持模型量化,降低硬件门槛,普通 CPU 也能运行
  • 提供简单 API,易于集成到现有 C++ 项目中

不足之处

  • 项目早期,功能尚不完善,可能缺少高级特性
  • 文档和社区支持相对薄弱,上手需一定 C++ 基础

适用场景

  • 在无 GPU 的服务器或 PC 上离线运行 Qwen 对话模型
  • 嵌入式设备或移动端集成轻量级 AI 助手
  • 需要低延迟、高吞吐的本地推理服务

替代项目

llama.cpp、ggml、ollama

上一篇:LLM-Tools

下一篇:langkit

同类项目推荐

TurboDiffusion 开源

出片快上百倍,画质依然在线

TurboDiffusion: 100–200× Acceleration for Video Diffusion Models

★ 3864 2026-08-09
tt-metal 开源

用 Tenstorrent 硬件跑 AI 模型,底层算子与内核编程一手掌控

:metal: TT-NN operator library, and TT-Metalium low level kernel programming model.

★ 132 2026-08-09
WaLiAPI 开源

把多家大模型渠道收进本地网关,一个地址喂给所有 AI 编程工具

WaLiAPI 是一款本地运行的 LLM API 网关桌面软件(Tauri 2 + React + Rust)。支持各类 LL···

★ 167 2026-10-02
LARS 开源

本地跑大模型,读你的文档,回答带引用

An application for running LLMs locally on your device, with your documents, facilit···

★ 634 2026-08-09
ephemeral-sandbox 开源

让多个编码AI并行干活,互不干扰,结果可靠发布

Open-source agent sandbox infrastructure for parallel coding agents: isolated worksp···

★ 125 2026-08-09
vllm.cpp 开源

C++ 重写 vLLM,连续批处理加前缀缓存,推理吞吐更高

a community oriented 1:1, vLLM-alike (Continuous batching, paged KV) engine in C++ w···

★ 487 2026-10-14
axern 开源

给 AI 代理一个安全沙箱,放心跑代码、跑服务

Self-hosted execution platform for AI agents, powered by gVisor.

★ 65 2026-08-09
agent-infer 开源

基于 vLLM 的智能体推理后端,多轮工具调用更省心

vLLM based inference framework for agentic workload.

★ 108 2026-10-27
biniou 开源

一个界面搞定 30+ 生成式 AI,本地部署即开即用

a self-hosted webui for 30+ generative ai

★ 1155 2026-08-09