项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 343
核心亮点
- 专为扩散语言模型设计，训练效率高于传统自回归方法
- 支持从单卡到多节点任意规模扩展，适配不同算力环境
- 已被多个知名项目（如 OpenMoE 2）采用，实战验证
不足之处
- 早期项目，文档和社区生态尚不完善
- 依赖特定硬件优化，普通 GPU 环境可能无法发挥全部性能
适用场景
- 训练大规模扩散语言模型用于文本生成
- 研究非自回归生成范式，提升推理速度
- 作为基础框架支撑多模态或混合专家模型训练
替代项目
Hugging Face Transformers、DeepSpeed、FairSeq
下一篇：Time-LLM
同类项目推荐
katib
开源
在K8s上自动调参，让模型优化省心省力
WARNING: Katib project is DEPRECATED, users should migrate to OptimizationJob and Ku···
NeoHorse
开源
让模型自己出题、自己训练、自己变强
NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routin···
ml-engineering
开源
大模型训练推理踩坑指南，照着调优省半年时间
Machine Learning Engineering Open Book
Composition-RL
开源
把可验证提示词自动组合，低成本扩充 RL 训练数据
[Neurips 2026] Official repository for the paper "Composition-RL: Compose Your Verif···
SparseLLM
开源
全局剪枝大模型，高稀疏度下保住性能
Official Repo for SparseLLM: Global Pruning of LLMs (NeurIPS 2024)
KG-FIT
开源
用大模型给知识图谱做微调，让关系预测更准
[NeurIPS'24] Knowledge Graph Fine-Tuning using LLMs
SMILE-factory
开源
用普通显卡微调大模型，LoRA 省显存快速上手
Finetune Falcon, LLaMA, MPT, and RedPajama on consumer hardware using PEFT LoRA
finetuned-qlora-falcon7b-medical
开源
用QLoRA微调Falcon-7B，打造心理健康对话助手
Finetuning of Falcon-7B LLM using QLoRA on Mental Health Conversational Dataset
llemr
开源
把病历变成指令，微调大模型看懂医疗数据
NeurIPS'24 DB (Spotlight) | Instruction Tuning Large Language Models to Understand E···