ktransformers

单卡甚至纯CPU跑大模型，显存不够也能玩转MoE推理微调

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署模型训练 🍴 复刻 1603 🐛 待处理 526 👀 关注 121

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 19656

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，采用Apache-2.0许可证

项目预览

ktransformers 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类模型训练

开发团队kvcache-ai

官网地址https://kvcache-ai.github.io/ktransformers

GitHubhttps://github.com/kvcache-ai/ktransformers

定价模式🏷️完全免费

价格说明开源免费，采用Apache-2.0许可证

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Python

GitHub 星标★ 19656

上线时间2024-07-26 00:00:00

代码更新2026-10-28

仓库体积72.7 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-16

浏览次数1

项目介绍

KTransformers 是一个面向大语言模型推理与微调的开源异构优化框架，核心目标是让开发者在单台消费级或服务器级机器上，以极低成本体验和部署大模型。它通过 CPU/GPU 混合计算、MoE 稀疏激活、量化与算子融合等技术，把原本需要多卡 A100 才能跑动的模型（如 DeepSeek、Qwen 等大参数 MoE 模型）压缩到单卡甚至纯 CPU 环境运行。框架支持推理加速和 LoRA 微调两条路径，提供与 HuggingFace 生态兼容的接口，用户无需重写模型代码即可接入。项目由清华大学团队主导，社区活跃，在中文开发者圈有较高知名度。它解决的核心问题是显存不足与硬件门槛过高，让个人研究者和小团队也能本地跑大模型、做实验和二次开发。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 19656

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：高级约 30 分钟部署方式：本地安装 6 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（项目开发语言为 Python）
支持 CPU-GPU 异构计算的机器（消费级或服务器级）
能访问 GitHub 以克隆仓库
需自行阅读推理与微调子文档获取完整安装步骤

安装与启动步骤

1克隆项目仓库

从 GitHub 获取源码，README 未给出安装命令，克隆后需自行查阅子文档。
```
git clone https://github.com/kvcache-ai/ktransformers.git
```
2进入项目目录

切换到克隆下来的仓库根目录，后续文档路径均以此为基准。
```
cd ktransformers
```
3阅读推理文档

README 指向 kt-kernel/README.md 作为推理能力的入口说明，先看它再动手。
```
cat kt-kernel/README.md
```
4阅读微调手册

SFT 能力见 KTransformers-Fine-Tuning_Cookbook.md，含硬件检查、安装与配方。
```
cat doc/en/SFT/KTransformers-Fine-Tuning_Cookbook.md
```
5按手册完成环境检查

先按手册中的硬件检查环节确认本机 CPU、内存与显存能否承载目标模型。
6选择推理或微调路线

推理走 kt-kernel 路径，SFT 走 LlamaFactory 路线，二者安装步骤不同须分开处理。