AutoGrad-Engine

600 行纯 C# 从零实现 GPT 训练与推理

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 模型训练 🍴 复刻 48 👀 关注 6
GitHub ↗
GitHub 星标 ★ 402
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无付费版本

项目预览

AutoGrad-Engine 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类模型训练
开发团队milanm
定价模式🏷️完全免费
价格说明开源免费,无付费版本
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言C#
技术栈/模型ai,autograd,backpropagation,csharp,deep-learning,dotnet,gpt,karpathy,language-model,machine-learning,neural-network,transformer
GitHub 星标★ 402
上线时间2026-02-12 00:00:00
代码更新2026-10-24
仓库体积173 KB
本站数据更新2026-10-31
维护状态活跃
收录时间2026-10-31
浏览次数0

项目介绍

AutoGrad-Engine 是一个用约 600 行纯 C# 实现的完整 GPT 语言模型项目,覆盖从自动微分、反向传播到训练与推理的全流程,且不依赖任何第三方库。它面向希望深入理解大模型内部机制的 .NET 开发者,把通常藏在 PyTorch 等框架背后的张量运算、计算图、梯度回传和 Transformer 结构,用可读的 C# 代码直接摊开。核心能力包括:标量/张量级自动求导引擎、基于计算图的反向传播、GPT 风格的解码器结构(多头注意力、前馈层、层归一化、位置编码)、字符级分词与训练循环,以及训练完成后的文本生成推理。项目体量小、结构清晰,适合作为教学样例、算法实验起点,或在 .NET 生态中快速验证小规模语言模型想法,而不必引入 Python 运行时和重型依赖。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 402

核心亮点

  • 零第三方依赖,纯 C# 实现自动微分与反向传播,代码量小易通读
  • 完整覆盖 GPT 训练与推理全链路,含注意力、层归一化、位置编码等关键组件
  • 面向 .NET 生态,可直接在 C# 项目中运行和改造,适合教学与算法验证

不足之处

  • 纯 C# 标量级实现,性能和显存效率远不及主流深度学习框架,难以训练较大模型
  • 生态与文档相对单薄,缺少预训练权重、分布式训练和成熟工具链支持

适用场景

  • 学习 Transformer 与自动微分原理的教学演示
  • 在 .NET 项目中快速验证小规模语言模型想法
  • 作为从零手写深度学习框架的参考实现

替代项目

llama2.c、micrograd、nanoGPT

上一篇:jeo

下一篇:OpenEBFM

同类项目推荐

ToolOrchestra 开源

用强化学习训练模型更聪明地调用工具、编排工作流

ToolOrchestra is an end-to-end RL training framework for orchestrating tools and age···

★ 766 2026-08-09
Repo2RLEnv 开源

任意仓库一键变可验证 RL 训练环境,边训边评测

Turn any repository into verifiable RL environments for coding agents - Harbor tasks···

★ 757 2026-10-04
TorchSpec 开源

用 PyTorch 原生训练投机解码草稿模型,推理直接提速

A PyTorch native library for training speculative decoding models

★ 266 2026-10-17
AngelSlim 开源

一键压缩大模型,部署更快更省资源

Model compression toolkit engineered for enhanced usability, comprehensiveness, and ···

★ 1780 2026-08-09
LightCompress 开源

一套工具压缩 LLM/VLM/视频模型,部署更省资源

[EMNLP 2024 & AAAI 2026] A powerful toolkit for compressing large models including L···

★ 753 2026-08-09
Sklearn-genetic-opt 开源

用遗传算法自动调参,告别网格搜索的低效

Hyperparameter optimization and feature selection for scikit-learn using evolutionar···

★ 390 2026-08-09
Satori 开源

用强化学习让大模型学会自主搜索推理路径,提升复杂问题解决能力

[ICML 2025] Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM···

★ 114 2026-08-09
Semi-supervised-learning 开源

一个代码库跑遍主流半监督算法,少标注也能训好模型

A Unified Semi-Supervised Learning Codebase (NeurIPS'22)

★ 1590 2026-10-17
lora 开源

用少量图片和普通显卡,快速训练专属图像模型

Using Low-rank adaptation to quickly fine-tune diffusion models.

★ 7557 2026-08-09