orthrus

双视角扩散解码，让大模型推理更快且无损

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 23 🐛 待处理 3 👀 关注 18

GitHub ↗

GitHub 星标 ★ 483

维护状态维护中

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队chiennv2000

GitHubhttps://github.com/chiennv2000/orthrus

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Python

技术栈/模型diffusion-language-models,efficient-inference,large-language-models,llm,llm-efficiency,llm-inference,model-architecture,speculative-decoding

GitHub 星标★ 483

上线时间2026-05-13 00:00:00

代码更新2026-08-12

仓库体积942 KB

本站数据更新2026-11-08

维护状态维护中

收录时间2026-08-09

浏览次数6

项目介绍

orthrus 是一个面向大语言模型的高效推理加速项目，核心思路是通过双视角扩散解码（dual-view diffusion decoding）实现快速且无损的生成。它解决的是 LLM 推理速度慢、成本高的问题，在不牺牲输出质量的前提下，利用扩散机制并行探索多个解码路径，从而显著降低延迟。项目提供 Python 接口，易于集成到现有推理流程中，适合需要高频响应的应用场景。其技术栈聚焦于解码算法的优化，而非模型压缩或量化，因此保持了模型原有能力。目前处于早期阶段，但设计理念新颖，为 LLM 推理优化提供了另一种思路。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 483

技术标签

diffusion-language-models efficient-inference large-language-models llm llm-inference

使用教程

难度：高级约 60 分钟部署方式：本地GPU 5 步

环境要求

Python 3.10+
CUDA GPU
uv

安装与启动步骤

1建环境装本包

它按可编辑方式装，改动即时生效。
```
uv pip install -e .
```
2装编译依赖

缺 ninja 与 packaging 时后续扩展编译会失败。
```
uv pip install ninja packaging
```
3装注意力扩展

必须关掉构建隔离，否则编译时找不到已装的 torch。
```
uv pip install flash-attn --no-build-isolation
```
4准备权重

权重按仓库给的脚本或清单下载。
5跑一次生成

先用示例输入跑通，再换自己的数据。