ktransformers
单卡甚至纯CPU跑大模型，显存不够也能玩转MoE推理微调
KTransformers 是一个面向大语言模型推理与微调的开源异构优化框架，核心目标是让开发者在单台消费级或服务器级机器上，以极低成本体验和部署大模型。它通过 CPU/GPU 混合计算、MoE 稀疏激活、量化与算子融合等技术，把原本需要多卡 A100 才能跑动的模型（如 DeepSeek、Qwen 等大参数 MoE 模型）压缩到单卡甚至纯 CPU 环境运行。框架支持推理加速和 LoRA 微调两条路径，提供与 HuggingFace 生态兼容的接口，用户无需重写模型代码即可接入。项目由清华大学团队主导，社区活跃，在中文开发者圈有较高知名度。它解决的核心问题是显存不足与硬件门槛过高，让个人研究者和小团队也能本地跑大模型、做实验和二次开发。
项目数据
使用教程
⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。
环境要求
- Python 环境（项目开发语言为 Python）
- 支持 CPU-GPU 异构计算的机器（消费级或服务器级）
- 能访问 GitHub 以克隆仓库
- 需自行阅读推理与微调子文档获取完整安装步骤
安装与启动步骤
-
1克隆项目仓库
从 GitHub 获取源码，README 未给出安装命令，克隆后需自行查阅子文档。
git clone https://github.com/kvcache-ai/ktransformers.git -
2进入项目目录
切换到克隆下来的仓库根目录，后续文档路径均以此为基准。
cd ktransformers -
3阅读推理文档
README 指向 kt-kernel/README.md 作为推理能力的入口说明，先看它再动手。
cat kt-kernel/README.md -
4阅读微调手册
SFT 能力见 KTransformers-Fine-Tuning_Cookbook.md，含硬件检查、安装与配方。
cat doc/en/SFT/KTransformers-Fine-Tuning_Cookbook.md -
5按手册完成环境检查
先按手册中的硬件检查环节确认本机 CPU、内存与显存能否承载目标模型。
-
6选择推理或微调路线
推理走 kt-kernel 路径，SFT 走 LlamaFactory 路线，二者安装步骤不同须分开处理。
如何确认成功
README 未提供启动命令，按所引文档执行后，以对应子文档给出的验证方式为准。
常见问题
Q：README 里为什么没有 pip install 之类的安装命令？
A：本次节选只给出总览与文档入口，具体安装步骤在 kt-kernel/README.md 和 SFT Cookbook 里，需点进子文档查看。
Q：没有独立显卡能跑吗？
A：项目定位是通过 CPU-GPU 异构计算、MoE 稀疏激活与量化降低门槛，纯 CPU 或单卡场景的支持情况要以子文档为准。
Q：支持哪些模型？
A：README 更新记录提到 DeepSeek、Qwen 等大参数 MoE 模型，以及 GLM-5.3-flash、Kimi K2.5/K2.6 的 LoRA 微调。
Q：微调需要准备什么？
A：微调手册覆盖硬件检查、安装、BF16/FP8/INT8 配方、LoRA 与全量微调、资源规划和排错，建议先通读。
注意事项
- 本次 README 节选未包含任何可直接执行的安装命令，切勿凭猜测执行包名或参数。
- 推理与微调是两条独立路径，安装依赖不同，不要混用同一套步骤。
- 微调手册建议按顺序阅读：硬件检查 → 安装 → 精度配方 → 资源规划 → 排错。
- 项目更新较快，模型支持列表请以仓库最新更新记录为准。
核心亮点
- 支持CPU+GPU异构混合推理，显著降低显存门槛，单卡可跑大参数MoE模型
- 针对MoE稀疏激活做专门优化，推理速度相比朴素实现有明显提升
- 兼容HuggingFace模型与LoRA微调流程，接入成本低，无需重写代码
不足之处
- 配置与依赖较复杂，不同硬件组合下需手动调参，新手入门曲线陡
- 主要优化集中在特定模型架构（如MoE），通用性覆盖有限
适用场景
- 个人开发者用单张消费级显卡本地部署大参数MoE模型做推理测试
- 小团队在有限GPU资源下对开源大模型进行LoRA微调实验
- 研究者对比异构推理优化方案，验证CPU/GPU混合计算性能
替代项目
llama.cpp、vLLM
项目介绍
上一篇：SteptronOss
下一篇：notebooks
同类项目推荐
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···