像写单元测试一样微调大模型，实验更稳更可控。
LLM-Finetuning-Toolkit 是一个面向开源大语言模型的微调、消融和单元测试工具包。它主要解决研究人员和开发者在对 LLM 进行定制化训练时缺乏统一、可测试流程的问题。该工具包提供了一套模块化的 Python 接口，支持对模型进行参数高效微调（如 LoRA）、全量微调，并内置了消融实验框架，方便用户对比不同组件或数据配置对模型性能的影响。此外，它还强调单元测试，确保模型在修改后仍能保持预期行为，降低回归风险。核心能力包括：灵活的配置系统、与 Hugging Face Transformers 生态的集成、实验追踪以及结果可视化。整体设计旨在让用户能够以工程化的方式管理 LLM 的迭代优化，提升实验的可靠性和可复现性。
Hugging Face PEFT、Axolotl、LLaMA Factory
LLM-Finetuning-Toolkit 是模型训练领域的开源项目，由 georgian-io 开发，2023 年首次发布。
在全站 13,090 个收录项目中，它的 GitHub 星标数（870）位列前 30%，在模型训练分类中处于中上游。
项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-15。Apache-2.0许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：研究团队进行LLM微调实验，需要系统化对比不同参数或数据策略。同类可对比的替代方案包括 Hugging Face PEFT、Axolotl、LLaMA Factory。
上一篇：SINQ
Long-RL
开源
让强化学习轻松驾驭超长序列，训练更稳更快
Long-RL: Scaling RL to Long Sequences (NeurIPS 2025)
TPA
开源
把注意力复杂度从平方降到线性，长序列不再卡顿
[NeurIPS 2025 Spotlight] TPA: Tensor ProducT ATTenTion Transformer (https://arxiv.or···
minimind
开源
两小时造出你的小模型，练手入门不求人
Train a 64M-parameter LLM from scratch in just 2h!
pruna
开源
一键优化 AI 模型，推理提速又省资源。
Pruna is a model optimization framework built for developers, enabling you to delive···
