项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 664
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- CUDA GPU
- Python 3.10+
- 大量磁盘（数据）
安装与启动步骤
-
1装基础依赖
扩散语言模型的训练与推理框架。
pip install ninja -
2装匹配版本 PyTorch
按 cu121 索引装，版本要对上驱动。
pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu121 -
3装 flash-attn
编译耗时较长，注意与 torch 版本匹配。
pip install "flash-attn==2.7.4.post1" -
4装项目
先装依赖再装项目本身。
pip install -e . -
5跑采样脚本
先用示例配置出样本，再考虑训练。
python sample.py
如何确认成功
采样脚本能输出文本结果
注意事项
- diffusion LM 与自回归模型的推理方式不同，别套用同一套参数直觉。
- 训练成本高，先用官方权重验证。
核心亮点
- 开源了预训练、评估、推理全流程代码和模型权重，复现门槛低
- 采用扩散模型架构，支持并行解码，推理速度有潜力优于自回归模型
- 专注代码生成，针对编程语言做了专项优化，而非通用文本模型
不足之处
- 项目处于早期，星标仅645，社区生态和文档尚不完善
- 扩散模型在代码生成上的效果和成熟度待验证，可能不如主流自回归模型稳定
适用场景
- 研究扩散模型在代码生成领域的应用
- 需要快速生成代码草稿的辅助编程工具
- 探索非自回归生成范式在软件工程中的落地
替代项目
CodeGen、InCoder、CodeT5
同类项目推荐
YAYI
开源
基于LlaMA2的中文专属大模型，让企业快速拥有安全可控的私有化AI能力。
雅意大模型：为客户打造安全可靠的专属大模型，基于大规模中英文多领域指令数据训练的 Lla···
General-Physics-Transformer
开源
一个模型搞定多种物理系统模拟，告别重复建模
A foundation model to learn multiple physical systems at once
MOSS
开源
复旦开源中文对话模型，接上工具就能用
An open-source, tool-augmented conversational language model from Fudan University
PocketDex
开源
用 SwiftUI 快速撸一个宝可梦图鉴，学并发和 MVVM
A simple Pokedex app written in SwiftUI that implements the PokeAPI, using Swift Con···
awesome-deep-learning-resource
开源
一站式收藏深度学习论文笔记与优质开源资源，省去全网搜索时间。
个人总结的大模型、Agent、多模态、自然语言处理NLP、计算机视觉CV等方向paper的阅读笔记；···
InternVL
开源
开源接近GPT-4o的多模态对话模型，图像理解与对话一步到位。
[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接···
gpt-oss
开源
OpenAI 开放权重模型，本地部署也能跑出强推理
gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI
ClaraVerse
开源
自托管 AI 全家桶，聊天、自动化、生图一网打尽，数据全在自己手里。
Claraverse is a opesource privacy focused ecosystem to replace ChatGPT, Claude, N8N,···
qwenputer
开源
把一台 CPU 编译进大模型权重里跑起来
A computer, compiled into the weights of a language model. An exact CPU inside Qwen3···