项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 6684
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- 已安装 Python 与 pip 环境
- 已安装 PyTorch(ROCm 环境需先装 ROCm 版 PyTorch)
- 具备可访问 GitHub 与 PyPI 的网络环境
- 需要 Triton 支持的 GPU 环境(用于运行融合内核)
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 Liger-Kernel 源码,后续所有安装命令都在仓库根目录执行。
git clone https://github.com/linkedin/Liger-Kernel.git cd Liger-Kernel -
2安装默认依赖
README 推荐的可编辑安装方式,setup.py 会自动检测本地后端并选择默认依赖。
pip install -e . -
3装开发依赖(可选)
需要参与开发或跑测试时使用,安装 dev 附加依赖组。
pip install -e ".[dev]" -
4ROCm 环境准备
在 ROCm 上需先从 PyTorch ROCm 索引安装 ROCm 版 PyTorch,再执行上面的安装。
pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2 -
5安装 cuTile 依赖
需要 cuTile 支持时安装该可选项;也可换用带 tileiras 编译器的版本。
pip install -e ".[cutile]" -
6安装 CuTe DSL
需要 NVIDIA CUTLASS Python DSL 支持时安装该附加依赖组。
pip install -e ".[cutedsl]"
如何确认成功
在 Python 中执行 import liger_kernel 不报错,即表示包已成功安装到当前环境。
常见问题
Q:该安装哪个 extras 依赖组?
A:一般场景直接用 pip install -e . 即可,setup.py 会按本地后端选默认依赖;开发用 .[dev],cuTile 用 .[cutile],CUTLASS DSL 用 .[cutedsl]。
Q:ROCm 机器上安装失败怎么办?
A:README 提示需先执行 pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2 安装 ROCm 版 PyTorch,再运行 pip install -e .。
Q:如何把 Liger 内核应用到模型上?
A:README 的 Getting Started 说明有多种应用方式,取决于需要的定制程度,可参考官网文档与 High-level/Low-level APIs 章节。
Q:有没有发布版而非源码安装?
A:项目在 PyPI 上提供 liger-kernel 稳定版与 liger-kernel-nightly 每日构建版,可据此选择安装渠道。
注意事项
- README 未给出端口、模型路径等运行时配置项,本教程仅覆盖安装环节。
- 命令请务必在克隆得到的 Liger-Kernel 仓库根目录下执行,否则 -e . 会找不到 setup.py。
- 高级用法与 API 细节请查阅官网 https://linkedin.github.io/Liger-Kernel 。
- 遇到问题可通过 README 中公布的 Discord 频道 https://discord.gg/X4MaxPgA 反馈。
核心亮点
- 以 monkey patch 方式替换 HuggingFace 层,改动小、接入成本低
- 覆盖 RMSNorm、RoPE、SwiGLU、FusedLinearCrossEntropy 等关键算子,实测可降显存并提升吞吐
- 兼容 Llama、Llama3、Mistral、Gemma2、Phi3 等主流架构,支持 LoRA、DPO、GRPO 等训练范式
不足之处
- 依赖 Triton 与特定 CUDA/GPU 环境,非 NVIDIA 或旧驱动上适配有限
- 部分融合内核与最新版 Transformers 或自定义模型结构可能存在兼容性摩擦
适用场景
- 单卡或少量卡微调 7B/8B 模型时降低显存占用
- 长序列训练中缓解注意力与归一化算子的显存瓶颈
- 在 DPO、GRPO 等对齐训练流程中替换标准层以提升吞吐
替代项目
flash-attention、unsloth
同类项目推荐
TextRL
开源
在任意 HuggingFace 模型上实现 RLHF 微调,让生成更符合人类偏好。
Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···
spirit-lora-trainer
开源
拖拽配置,一键训练 Flux1 LoRA,告别命令行烦恼
Spirit Lora Trainer is a robust toolkit for training Flux1-LoRA models with a focus ···
TabTune
开源
一套 API 统一跑通表格基础模型的推理与微调
TabTune: A Unified Library for Inference and Fine-Tuning Tabular Foundation Models
ms-swift
开源
一条命令微调千种大模型,从训练到部署全搞定
Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-···
FedKTL
开源
用服务端预训练生成器,让异构联邦学习上传更少、效果更好。
CVPR 2024 accepted paper, An Upload-Efficient Scheme for Transferring Knowledge From···
xmtf
开源
多任务微调,让模型学会跨语言举一反三
Crosslingual Generalization through Multitask Finetuning
DART
开源
扩散式推测解码,让大模型推理更快更省算力
Official Implementation of DART (DART: Low-Latency Parallel Drafting with Continuity···
simple-diffusion
开源
用最简代码看懂扩散模型,快速跑通图像生成
A minimal implementation of a denoising diffusion model in PyTorch.
verifiers
开源
一套接口搞定 RL 训练环境与评测
Our library for RL environments + evals
