chatllm.cpp

纯 C++ 本地跑大模型，开箱即聊不装 Python

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署基础设施 🍴 复刻 76 🐛 待处理 11 👀 关注 22

GitHub ↗

GitHub 星标 ★ 938

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源免费，需自行编译部署

项目预览

chatllm.cpp 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类基础设施

开发团队foldl

GitHubhttps://github.com/foldl/chatllm.cpp

定价模式🏷️完全免费

价格说明开源免费，需自行编译部署

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言C++

技术栈/模型llm,llm-inference

GitHub 星标★ 938

上线时间2023-12-02 00:00:00

代码更新2026-10-27

仓库体积10.1 MB

本站数据更新2026-11-03

维护状态较活跃

收录时间2026-09-16

浏览次数2

项目介绍

chatllm.cpp 是一个用纯 C++ 实现的本地大语言模型推理引擎，目标是在个人电脑上直接运行多种开源模型进行实时对话，不依赖 Python 运行时。它把模型加载、量化推理、采样、对话模板和流式输出整合进一个可编译的 C++ 项目，支持 CPU 与 GPU 后端，覆盖 LLaMA、ChatGLM、Qwen、Baichuan 等常见模型家族。相比 Python 方案，它启动快、内存占用可控、部署简单，适合把 LLM 嵌入到桌面应用、嵌入式设备或已有 C++ 工程中。核心能力包括：多模型统一接口、INT4/INT8 量化、KV Cache 复用、流式 token 输出、命令行交互与简单 Web 演示。项目定位偏底层基础设施，强调可移植性和零依赖，便于二次开发和集成。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 938

技术标签

llm llm-inference

使用教程

难度：高级约 45 分钟部署方式：本地编译 5 步

环境要求

C++17 编译器与 CMake
Python 3.8+（转换脚本）
16GB+ 内存（大模型）

安装与启动步骤

1克隆并取子模块

必须带 --recursive，否则第三方依赖缺失无法编译。
```
git clone --recursive https://github.com/foldl/chatllm.cpp.git && cd chatllm.cpp
```
2装转换依赖

模型格式转换用 Python 脚本，需要先装依赖。
```
pip install -r requirements.txt
```
3编译 C++ 主程序

用 CMake 构建，CPU 版直接编；要 GPU 加速得加对应后端开关。
```
cmake -B build && cmake --build build -j
```
4转换模型

-t 指定量化类型，-a 指定模型架构，LoRA 用 -l 挂载。
```
python convert.py -i path/to/model -t q8_0 -o quantized.bin --name ModelName
```
5开始对话

main 直接加载 bin 文件；加 -i 进交互模式，配 rlwrap 更好用。
```
./build/bin/main -m quantized.bin --seed 100
rlwrap ./build/bin/main -m quantized.bin -i
```