项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 284
核心亮点
- 覆盖 tokenizer 训练、Transformer 架构、推理到聊天的完整链路，开箱即用
- 模块化设计，各组件可独立替换，便于二次开发和实验
- 纯 Python 实现，代码结构清晰，适合学习 LLM 内部机制
不足之处
- 早期项目，文档和社区支持尚不完善
- 训练和推理性能可能未针对大规模生产环境优化
适用场景
- 学术研究：快速验证新的模型架构或训练策略
- 教学演示：用完整代码讲解 LLM 的构建原理
- 内部工具：为特定领域定制轻量级对话模型
替代项目
Hugging Face Transformers、MLX、llama.cpp
同类项目推荐
AViD
开源
用自定义数据微调视觉定位模型，省去搭训练管线
Framework that enables fine-tuning of vision-language grounding models on custom dat···
Text-To-Video-Finetuning
开源
用 Diffusers 微调文本生成视频模型，定制专属视频风格
Finetune ModelScope's Text To Video model using Diffusers
KnowledgeCircuits
开源
拆解大模型内部知识电路，精准定位事实存储与推理路径
[NeurIPS 2024] Knowledge Circuits in Pretrained Transformers
simple-llm-finetuner
开源
拖拽式界面，小白也能微调大模型
Simple UI for LLM Model Finetuning
ART
开源
让AI智能体在实际任务中边干边学，用GRPO强化训练，快速提升多步决策能力。
Agent Reinforcement Trainer: train multi-step agents for real-world tasks using GRPO···
GRACE
开源
把视觉大模型压到INT4，蒸馏补精度，低显存也能跑
[ICML 2026] GRACE: deployable INT4 VLM via quantization-aware distillation.
mcore-bridge
开源
让 Megatron 像 Transformers 一样简单，直接训 500+ 大模型
MCore-Bridge: Providing Megatron-Core model definitions for state-of-the-art large m···
LongLoRA
开源
用少量算力把大模型上下文拉到 100k+，长文本任务轻松搞定
Code and documents of LongLoRA and LongAlpaca (ICLR 2024 Oral)
burn-onnx
开源
把 ONNX 模型转成纯 Rust Burn 代码，推理微调不再依赖 Python
Convert ONNX models into native, backend-agnostic Burn code for inference and fine-t···