orthrus 是基础设施领域的开源项目，由 chiennv2000 开发，是 2026 年新上线的项目。
它收录于基础设施分类，该分类目前共有 1,130 个项目，GitHub 星标数为 481。
项目仍在小幅维护中，最近一次代码更新于 2026-09-19。MIT许可证，完全免费，可自行部署使用。
它主要面向的使用场景是：高频实时对话场景，降低响应延迟。同类可对比的替代方案包括 vLLM、TensorRT-LLM、Medusa。
orthrus
双视角扩散解码，让大模型推理更快且无损
orthrus 是一个面向大语言模型的高效推理加速项目，核心思路是通过双视角扩散解码（dual-view diffusion decoding）实现快速且无损的生成。它解决的是 LLM 推理速度慢、成本高的问题，在不牺牲输出质量的前提下，利用扩散机制并行探索多个解码路径，从而显著降低延迟。项目提供 Python 接口，易于集成到现有推理流程中，适合需要高频响应的应用场景。其技术栈聚焦于解码算法的优化，而非模型压缩或量化，因此保持了模型原有能力。目前处于早期阶段，但设计理念新颖，为 LLM 推理优化提供了另一种思路。
开源
free
开源模型
GitHub 星标
★ 481
维护状态
维护中
是否开源
是
定价模式
free
项目数据
分类开源模型
开发团队chiennv2000
所属国家
定价模式free
价格说明开源项目，MIT许可证，完全免费，可自行部署使用。
访问状态
是否开源是
开源协议MIT
主要语言Python
技术栈/模型diffusion-language-models,efficient-inference,large-language-models,llm,llm-efficiency,model-architecture,natural-language-processing
GitHub 星标★ 481
30天Star增速
HF 下载量
上线时间2026-05-13 00:00:00
最近更新2026-09-19 00:00:00
维护状态维护中
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5
使用教程
核心亮点
- 无损加速：不牺牲生成质量，直接提升推理速度
- 创新解码机制：双视角扩散并行探索，突破传统自回归瓶颈
- 轻量集成：纯 Python 实现，易于接入现有 LLM 推理管线
不足之处
- 文档/社区待观察
- 早期项目，生态和稳定性尚未验证
适用场景
- 高频实时对话场景，降低响应延迟
- 大规模批量推理任务，节省计算成本
- 对输出质量要求严格的生成任务，如代码或专业文本
替代项目
vLLM、TensorRT-LLM、Medusa
项目介绍
上一篇：mlx-flash
下一篇：spectralquant
同类项目推荐
freebuff-proxy
开源
聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。
Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···
microduck
开源
用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。
A Tiny biped duck robot
soperator
开源
用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。
Run Slurm in Kubernetes
ollama
开源
一条命令本地跑起大模型，免费、私密、不卡顿
Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···