dInfer

给扩散语言模型做专用推理加速

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 48 🐛 待处理 17 👀 关注 3
GitHub ↗
GitHub 星标 ★ 491
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,无在线服务

项目预览

dInfer 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队inclusionAI
定价模式🏷️完全免费
价格说明开源免费,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
GitHub 星标★ 491
上线时间2025-09-29 00:00:00
代码更新2026-11-05
仓库体积21.4 MB
本站数据更新2026-11-12
维护状态活跃
收录时间2026-11-12
浏览次数1

项目介绍

dInfer 是面向扩散语言模型(Diffusion Language Model)的推理框架。扩散语言模型以迭代去噪方式生成文本,与自回归逐 token 解码差异很大,通用推理引擎难以高效支持。dInfer 针对这一范式提供专用推理执行路径,解决扩散模型在批处理、采样调度和显存管理上的效率问题。核心能力包括:适配扩散式解码的推理调度、对去噪步数与批量的执行管理、面向 Python 生态的模型接入接口。项目处于早期阶段,适合研究扩散语言模型推理性能、做实验对比的开发者使用,可作为理解扩散文本生成推理链路的参考实现。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-12 · 当前星标 ★ 491

核心亮点

  • 针对扩散式迭代去噪解码单独设计推理路径,而非套用自回归引擎
  • Python 实现,便于研究者接入自有扩散语言模型做实验
  • 聚焦推理效率这一扩散语言模型落地的实际瓶颈

不足之处

  • 项目早期,星标约 491,生态与文档成熟度有限
  • 仅支持扩散语言模型这一较新范式,通用性与社区验证待观察

适用场景

  • 研究扩散语言模型的推理性能与去噪步数调优
  • 对比扩散式与自回归式文本生成的推理开销
  • 在自有扩散语言模型上搭建批量推理实验

替代项目

vLLM、SGLang

上一篇:PAI

下一篇:没有了!

同类项目推荐

agent-vibes 开源

让 Claude Code 和 Cursor 免费接入更多 AI 后端

Unified Agent Gateway — Enables Claude Code CLI and Cursor IDE to use free AI backe···

★ 362 2026-08-09
memobase 开源

给 AI 聊天机器人装上长期记忆,让对话更懂你

User Profile-Based Long-Term Memory for AI Chatbot Applications.

★ 2957 2026-08-09
ChatGPT-Mirror 开源

一键部署,秒开个人 ChatGPT 镜像站

一键部署个人的 ChatGPT 镜像站

★ 1408 2026-08-09
otari 开源

自建一个端点,管好所有大模型密钥和预算

Open-source AI gateway you run yourself. One endpoint for 40+ providers, with virtua···

★ 917 2026-08-09
C-SSH 开源

跨平台 SSH 运维,持久会话+AI 助手,免费开源

C-SSH 0.9.7 · Windows / macOS / Linux / Android · SSH, RDP, concurrent AI, server ···

★ 187 2026-08-09
openai-oauth 开源

用 ChatGPT 账号免费调用 AI 模型,省下 API 费用

Free AI with your ChatGPT account

★ 1439 2026-08-09
NeuroAPI 开源

俄罗斯开发者一键接入全球主流 AI 模型,绕过支付和地域限制。

NeuroAPI: российский AI API для Codex CLI и Claude Code — безопа···

★ 1318 2026-08-09
Lexoid 开源

把脏乱数据变成 AI 能用的干净上下文

The open-source universal adapter for LLMs. Turn messy real-world data into clean, a···

★ 109 2026-08-09
semantic-router 开源

按语义智能分发请求,让每个模型干最擅长的活

An open, programmable decision layer for models and compute.

★ 6452 2026-08-09