项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 195
核心亮点
- 专为 AMD GPU（ROCm）优化，填补了 AMD 平台 LLM 训练教程空白
- 代码简洁，依赖少，基于 PyTorch 即可上手，适合学习研究
- 提供了完整的数据处理到训练检查点的全流程示例
不足之处
- 模型规模仅 135M，实用性有限，主要面向验证和教学
- 文档/社区待观察
适用场景
- 在 AMD 显卡上尝试训练小型语言模型的科研人员
- 高校或企业进行 LLM 训练流程教学或内部培训
- 验证 ROCm 软件栈在生成式 AI 任务中的表现
替代项目
NanoGPT、LitGPT、TinyLlama
上一篇：residual-context-diffusion
下一篇：LLM-ESR
同类项目推荐
lora-speedrun
开源
固定任务硬件，比谁把 LoRA 微调跑得最快
Speedrunning LoRA fine-tuning: frozen task, frozen hardware, public wall-clock leade···
RAG-Retrieval
开源
统一微调 RAG 检索模型，让召回更精准
Unify Efficient Fine-tuning of RAG Retrieval, including Embedding, ColBERT, ReRanke···
SimPO
开源
去掉参考模型，用更简单的公式让模型更懂人类偏好
[NeurIPS 2024] SimPO: Simple Preference Optimization with a Reference-Free Reward
RAGEN
开源
多轮智能体强化学习训练与推理退化诊断
Agent RL framework for LLM agents: multi-turn reinforcement learning with StarPO and···
FedML
开源
一键跨云调度，轻松搞定分布式与联邦学习
FEDML - The unified and scalable ML library for large-scale distributed training, mo···
grafting
开源
像嫁接植物一样组合扩散模型架构，快速找到最优设计。
[NeurIPS 2025 Oral] Official Code for Exploring Diffusion Transformer Designs via Gr···
FeynRL
开源
换目标、换采样，后训练实验一套框架跑通
Post-training framework for large models, from new objectives to new rollout systems···
Matlab-GAN
开源
用 MATLAB 跑通多种 GAN，从入门到 CycleGAN 一步到位
MATLAB implementations of Generative Adversarial Networks -- from GAN to Pixel2Pixel···
sd-leap-booster
开源
让 Stable Diffusion 微调更快，从局部最优起步，省时省力。
Fast finetuning using a booster model that puts the initial state to a local minimum