GitHub 星标
★ 627
维护状态
低维护
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队QwenLM
所属国家
定价模式free
价格说明开源项目，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议NOASSERTION
主要语言C++
技术栈/模型
GitHub 星标★ 627
30天Star增速
HF 下载量
上线时间2023-09-24 00:00:00
最近更新2026-07-01 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数0
核心亮点
- 纯 C++ 实现，启动快、内存占用低，适合嵌入式或边缘设备
- 支持模型量化，降低硬件门槛，普通 CPU 也能运行
- 提供简单 API，易于集成到现有 C++ 项目中
不足之处
- 项目早期，功能尚不完善，可能缺少高级特性
- 文档和社区支持相对薄弱，上手需一定 C++ 基础
适用场景
- 在无 GPU 的服务器或 PC 上离线运行 Qwen 对话模型
- 嵌入式设备或移动端集成轻量级 AI 助手
- 需要低延迟、高吞吐的本地推理服务
替代项目
llama.cpp、ggml、ollama
项目介绍
同类项目推荐
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma ···
OpenMemory
开源
AI 工具共用一份记忆，关掉重开照样记得你
Local persistent memory store for LLM applications including claude desktop, github ···
litellm
开源
一个网关接入所有大模型，告别接口乱、成本散、监控难
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in Ope···
vllm
开源
同一个模型跑出几倍速度，机器成本省一半
A high-throughput and memory-efficient inference and serving engine for LLMs