qwen.cpp

用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。

qwen.cpp 是一个基于 C++ 实现的 Qwen 大语言模型推理库，旨在将通义千问模型高效地运行在本地设备上。它解决了在资源受限环境（如个人电脑、边缘设备）中部署大模型的问题，通过 C++ 的高性能和轻量级设计，实现了模型的快速加载与推理。核心能力包括模型量化、流式生成、多平台支持等，让开发者无需依赖重型 Python 框架即可集成 Qwen 模型。该项目处于早期阶段，但已具备基本的推理功能，适合对性能敏感或需离线部署的场景。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 626

维护状态低维护

是否开源是

定价模式 free

项目预览

项目数据

分类开源模型

开发团队QwenLM

所属国家

官网地址

GitHubhttps://github.com/QwenLM/qwen.cpp

定价模式free

价格说明开源项目，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议NOASSERTION

主要语言C++

技术栈/模型large-language-models,qwen

GitHub 星标★ 626

30天Star增速

HF 下载量

上线时间2023-09-24 00:00:00

代码更新—

仓库体积—

本站数据更新—

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

纯 C++ 实现，启动快、内存占用低，适合嵌入式或边缘设备
支持模型量化，降低硬件门槛，普通 CPU 也能运行
提供简单 API，易于集成到现有 C++ 项目中

不足之处

项目早期，功能尚不完善，可能缺少高级特性
文档和社区支持相对薄弱，上手需一定 C++ 基础

适用场景

在无 GPU 的服务器或 PC 上离线运行 Qwen 对话模型
嵌入式设备或移动端集成轻量级 AI 助手
需要低延迟、高吞吐的本地推理服务

替代项目

llama.cpp、ggml、ollama

项目介绍

qwen.cpp 是基础设施领域的开源项目，由 QwenLM 开发，2023 年首次发布。

它收录于基础设施分类，该分类目前共有 1,157 个项目，GitHub 星标数为 626。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2024-12-06。完全免费，可自行部署使用。

它主要面向的使用场景是：在无GPU的服务器或PC上离线运行Qwen对话模型。同类可对比的替代方案包括 llama.cpp、ggml、ollama。

上一篇：LLM-Tools

下一篇：langkit