Liger-Kernel

不改模型结构,给 LLM 训练省显存提吞吐

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 646 🐛 待处理 221 👀 关注 54
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 6684
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,Apache 2.0 许可证

项目预览

Liger-Kernel 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队linkedin
定价模式🏷️完全免费
价格说明开源免费,Apache 2.0 许可证
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-2-Clause
主要语言Python
技术栈/模型finetuning,gemma2,hacktoberfest,llama,llama3,llm-training,llms,mistral,phi3,triton,triton-kernels
GitHub 星标★ 6684
上线时间2024-08-06 00:00:00
代码更新2026-11-02
仓库体积29.3 MB
本站数据更新2026-11-04
维护状态活跃
收录时间2026-09-16
浏览次数1

项目介绍

Liger-Kernel 是 LinkedIn 开源的一套面向大语言模型训练的 Triton 内核集合,目标是解决 LLM 微调与训练中显存占用高、计算效率低的问题。它把 RMSNorm、RoPE、SwiGLU、CrossEntropy、FusedLinearCrossEntropy 等常见算子用 Triton 重写并融合,减少中间张量的读写与显存分配,从而在不改变模型结构的前提下提升吞吐、降低显存。项目以 Python 包形式提供,可直接替换 HuggingFace Transformers 中的对应层,兼容 Llama、Llama3、Mistral、Gemma2、Phi3 等主流架构,支持全参微调、LoRA、DPO、GRPO 等训练流程。对显存受限、想用单卡或少量卡训练更大模型或更长序列的团队,它提供了一条低侵入的加速路径,社区活跃且迭代较快。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 6684

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • 已安装 Python 与 pip 环境
  • 已安装 PyTorch(ROCm 环境需先装 ROCm 版 PyTorch)
  • 具备可访问 GitHub 与 PyPI 的网络环境
  • 需要 Triton 支持的 GPU 环境(用于运行融合内核)

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 Liger-Kernel 源码,后续所有安装命令都在仓库根目录执行。

    git clone https://github.com/linkedin/Liger-Kernel.git
    cd Liger-Kernel
  2. 2安装默认依赖

    README 推荐的可编辑安装方式,setup.py 会自动检测本地后端并选择默认依赖。

    pip install -e .
  3. 3装开发依赖(可选)

    需要参与开发或跑测试时使用,安装 dev 附加依赖组。

    pip install -e ".[dev]"
  4. 4ROCm 环境准备

    在 ROCm 上需先从 PyTorch ROCm 索引安装 ROCm 版 PyTorch,再执行上面的安装。

    pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
  5. 5安装 cuTile 依赖

    需要 cuTile 支持时安装该可选项;也可换用带 tileiras 编译器的版本。

    pip install -e ".[cutile]"
  6. 6安装 CuTe DSL

    需要 NVIDIA CUTLASS Python DSL 支持时安装该附加依赖组。

    pip install -e ".[cutedsl]"

如何确认成功

在 Python 中执行 import liger_kernel 不报错,即表示包已成功安装到当前环境。

常见问题

Q:该安装哪个 extras 依赖组?

A:一般场景直接用 pip install -e . 即可,setup.py 会按本地后端选默认依赖;开发用 .[dev],cuTile 用 .[cutile],CUTLASS DSL 用 .[cutedsl]。

Q:ROCm 机器上安装失败怎么办?

A:README 提示需先执行 pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2 安装 ROCm 版 PyTorch,再运行 pip install -e .。

Q:如何把 Liger 内核应用到模型上?

A:README 的 Getting Started 说明有多种应用方式,取决于需要的定制程度,可参考官网文档与 High-level/Low-level APIs 章节。

Q:有没有发布版而非源码安装?

A:项目在 PyPI 上提供 liger-kernel 稳定版与 liger-kernel-nightly 每日构建版,可据此选择安装渠道。

注意事项

  • README 未给出端口、模型路径等运行时配置项,本教程仅覆盖安装环节。
  • 命令请务必在克隆得到的 Liger-Kernel 仓库根目录下执行,否则 -e . 会找不到 setup.py。
  • 高级用法与 API 细节请查阅官网 https://linkedin.github.io/Liger-Kernel 。
  • 遇到问题可通过 README 中公布的 Discord 频道 https://discord.gg/X4MaxPgA 反馈。

核心亮点

  • 以 monkey patch 方式替换 HuggingFace 层,改动小、接入成本低
  • 覆盖 RMSNorm、RoPE、SwiGLU、FusedLinearCrossEntropy 等关键算子,实测可降显存并提升吞吐
  • 兼容 Llama、Llama3、Mistral、Gemma2、Phi3 等主流架构,支持 LoRA、DPO、GRPO 等训练范式

不足之处

  • 依赖 Triton 与特定 CUDA/GPU 环境,非 NVIDIA 或旧驱动上适配有限
  • 部分融合内核与最新版 Transformers 或自定义模型结构可能存在兼容性摩擦

适用场景

  • 单卡或少量卡微调 7B/8B 模型时降低显存占用
  • 长序列训练中缓解注意力与归一化算子的显存瓶颈
  • 在 DPO、GRPO 等对齐训练流程中替换标准层以提升吞吐

替代项目

flash-attention、unsloth

上一篇:llm-compressor

下一篇:Complete-LLM-Finetuning

同类项目推荐

TextRL 开源

在任意 HuggingFace 模型上实现 RLHF 微调,让生成更符合人类偏好。

Implementation of ChatGPT RLHF (Reinforcement Learning with Human Feedback) on any g···

★ 564 2026-08-09
spirit-lora-trainer 开源

拖拽配置,一键训练 Flux1 LoRA,告别命令行烦恼

Spirit Lora Trainer is a robust toolkit for training Flux1-LoRA models with a focus ···

★ 88 2026-08-09
TabTune 开源

一套 API 统一跑通表格基础模型的推理与微调

TabTune: A Unified Library for Inference and Fine-Tuning Tabular Foundation Models

★ 141 2026-09-16
ms-swift 开源

一条命令微调千种大模型,从训练到部署全搞定

Use PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600+ LLMs (Qwen3.8, DeepSeek-V4, GLM-···

★ 16038 2026-08-09
FedKTL 开源

用服务端预训练生成器,让异构联邦学习上传更少、效果更好。

CVPR 2024 accepted paper, An Upload-Efficient Scheme for Transferring Knowledge From···

★ 69 2026-08-09
xmtf 开源

多任务微调,让模型学会跨语言举一反三

Crosslingual Generalization through Multitask Finetuning

★ 534 2026-08-09
DART 开源

扩散式推测解码,让大模型推理更快更省算力

Official Implementation of DART (DART: Low-Latency Parallel Drafting with Continuity···

★ 72 2026-08-09
simple-diffusion 开源

用最简代码看懂扩散模型,快速跑通图像生成

A minimal implementation of a denoising diffusion model in PyTorch.

★ 137 2026-08-09
verifiers 开源

一套接口搞定 RL 训练环境与评测

Our library for RL environments + evals

★ 4764 2026-09-14