AMD-LLM

在 AMD GPU 上快速跑通 1.35 亿参数语言模型训练

AMD-LLM 是 AMD 推出的面向其 GPU 的 135M 参数语言模型训练代码与资源库。该项目旨在解决 AMD GPU 上训练大语言模型时软件栈不成熟、生态碎片化的问题，提供了一套开箱即用的训练流程。核心能力包括：针对 AMD GPU（如 MI300 系列）优化的训练脚本、数据预处理管线、模型配置与检查点管理，以及基于 ROCm 的底层适配。项目采用 PyTorch 框架，代码结构清晰，便于研究者复现和扩展。通过该仓库，开发者可以快速在 AMD 硬件上启动小规模语言模型的预训练或微调，验证算法或进行教学实验。项目目前处于早期阶段，模型规模较小（135M），但为 AMD 平台上的 LLM 训练提供了重要参考实现。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 195

维护状态低维护

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队AMD-AGI

所属国家

官网地址

GitHubhttps://github.com/AMD-AGI/AMD-LLM

定价模式free

价格说明开源项目，训练代码和资源，可自行部署使用，完全免费。

访问状态

是否开源是

开源协议NOASSERTION

主要语言Python

技术栈/模型amd-agi,large-language-models,rocm

GitHub 星标★ 195

30天Star增速

HF 下载量

上线时间2024-05-30 00:00:00

最近更新2026-08-22 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

核心亮点

专为 AMD GPU（ROCm）优化，填补了 AMD 平台 LLM 训练教程空白
代码简洁，依赖少，基于 PyTorch 即可上手，适合学习研究
提供了完整的数据处理到训练检查点的全流程示例

不足之处

模型规模仅 135M，实用性有限，主要面向验证和教学
文档/社区待观察

适用场景

在 AMD 显卡上尝试训练小型语言模型的科研人员
高校或企业进行 LLM 训练流程教学或内部培训
验证 ROCm 软件栈在生成式 AI 任务中的表现

替代项目

NanoGPT、LitGPT、TinyLlama

项目介绍

AMD-LLM 是模型训练领域的开源项目，由 AMD-AGI 开发，2024 年首次发布。

它收录于模型训练分类，该分类目前共有 518 个项目，GitHub 星标数为 195。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-08-22。训练代码和资源，可自行部署使用，完全免费。

它主要面向的使用场景是：在AMD显卡上尝试训练小型语言模型的科研人员。同类可对比的替代方案包括 NanoGPT、LitGPT、TinyLlama。

上一篇：residual-context-diffusion

下一篇：LLM-ESR