chatllm.cpp

纯 C++ 本地跑大模型，开箱即聊不装 Python

chatllm.cpp 是一个用纯 C++ 实现的本地大语言模型推理引擎，目标是在个人电脑上直接运行多种开源模型进行实时对话，不依赖 Python 运行时。它把模型加载、量化推理、采样、对话模板和流式输出整合进一个可编译的 C++ 项目，支持 CPU 与 GPU 后端，覆盖 LLaMA、ChatGLM、Qwen、Baichuan 等常见模型家族。相比 Python 方案，它启动快、内存占用可控、部署简单，适合把 LLM 嵌入到桌面应用、嵌入式设备或已有 C++ 工程中。核心能力包括：多模型统一接口、INT4/INT8 量化、KV Cache 复用、流式 token 输出、命令行交互与简单 Web 演示。项目定位偏底层基础设施，强调可移植性和零依赖，便于二次开发和集成。