项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1962
使用教程
环境要求
- Python 3 环境(README 全程使用 python3 -m pip)
- 已安装 pip,可正常访问 PyPI
- NVIDIA GPU + CUDA 环境(README 按 CUDA 11.8 / 12.1 / 12.2 区分安装包)
- torch、transformers、diffusers 运行依赖
- 可访问 GitHub 或 README 给出的国内镜像源以下载 OneFlow
安装与启动步骤
-
1安装基础依赖
先装 torch、transformers 与 diffusers,README 提示 diffusers/transformers 可自行选择想要的版本。
python3 -m pip install "torch" "transformers==4.27.1" "diffusers[torch]==0.19.3" -
2安装 Nexfort 后端
Nexfort 与 OneFlow 二选一;DiT 结构模型或 H100 设备推荐用 Nexfort,无需两者都装。
python3 -m pip install -U torch==2.3.0 torchvision==0.18.0 torchaudio==2.3.0 torchao==0.1 python3 -m pip install -U nexfort -
3安装 OneFlow 后端
备选后端,适用于非 DiT 模型和非 H100 场景。此处以 CUDA 11.8 为例,其它 CUDA 版本请按 README 更换链接。
python3 -m pip install -U --pre oneflow -f https://github.com/siliconflow/oneflow_releases/releases/expanded_assets/community_cu118 -
4从 PyPI 装 onediff
推荐方式,直接安装 onediff 预发布包,无需克隆仓库。
python3 -m pip install --pre onediff -
5从源码安装
需要改代码或跟最新进展时使用;开发模式用 pip install -e '.[dev]'。
git clone https://github.com/siliconflow/onediff.git cd onediff && python3 -m pip install -e .
如何确认成功
README 未给出启动或自检命令,以各步 pip 安装无报错、且 onediff 安装完成作为成功标志。
常见问题
Q:OneFlow 和 Nexfort 该选哪个?
A:二者可选其一,不必都装。DiT 结构模型或 H100 设备推荐 Nexfort;其它情况推荐 OneFlow,未来 OneFlow 内的优化会逐步迁移到 Nexfort。
Q:国内下载 OneFlow 很慢或失败怎么办?
A:README 为 CN 用户提供了阿里云镜像源,把 -f 后面的链接换成 https://oneflow-pro.oss-cn-beijing.aliyuncs.com/branch/community/cu118 即可。
Q:diffusers、transformers 版本必须固定吗?
A:不必。README 明确说明可以自行选择想要的最新版本,示例中的 0.19.3、4.27.1 只是参考值。
Q:想做分布式推理怎么办?
A:可以继续使用 onediff 的编译器,在 xDiT 这类分布式推理引擎中做单设备加速。
注意事项
- README 更新 OneFlow 较频繁,务必使用它给出的链接安装,不要随意用默认源版本
- CUDA 11.8 与 12.1/12.2 使用不同的安装链接,选错会导致后端不可用
- 需要 NVIDIA GPU 环境,OneDiff 主要针对 NVIDIA GPU 做性能调优
- 本教程只覆盖安装部分,Python API 与 ComfyUI/Diffusers 用法请参考官方 Wiki
核心亮点
- 兼容 Diffusers 和 ComfyUI,无需改代码即可接入,上手快
- 编译优化技术成熟,实测可带来 2-4 倍加速,效果显著
- 支持 LoRA、LCM 等主流加速方案,灵活适配不同需求
不足之处
- 目前主要支持 NVIDIA GPU,对 AMD/Intel 等硬件覆盖有限
- 文档/社区待观察,部分高级用法示例不够丰富
适用场景
- Stable Diffusion 在线服务,降低单次生成成本
- ComfyUI 工作流加速,提升批量出图效率
- 实时交互式生成,如 AI 绘画工具的后端推理
替代项目
TensorRT、AITemplate、OpenVINO
上一篇:OnnxStream
下一篇:stable-fast
同类项目推荐
n8n-nodes-qdrant
开源
在 n8n 里拖拽连接 Qdrant,快速实现向量检索与 RAG。
Official n8n node for interfacing with Qdrant
LLamaSharp
开源
在 .NET 里本地跑大模型,一行代码接入聊天
A C#/.NET library to run LLM (LLaMA/LLaVA) on your local device efficiently.
chatgpt2api
开源
逆向ChatGPT官网,白嫖文本和图像生成,兼容OpenAI接口,批量管理号池。
ChatGPT官网接口纯协议的逆向实现,支持注册机维持号池额度,支持GPT-Image-2模型、文本模···
ollama-to-lmstudio-symlinks
开源
一份模型两处用,省下几十 GB 磁盘
A small utility to use Ollama models in LM Studio (and vice versa via symlinking) wi···
krakend-ce
开源
写个配置文件,就能搞定高性能 API 网关
KrakenD Community Edition: High-performance, stateless, declarative, API Gateway wri···
actions-ml-cicd
开源
用现成 GitHub Action 快速搭起 MLOps 流水线,省去重复造轮子。
A Collection of GitHub Actions That Facilitate MLOps
CPA-Manager-Plus
开源
自托管AI网关监控面板,管好每次API调用和成本
A self-hosted CPA / CLIProxyAPI management panel and AI gateway observability dashbo···
lucebox
开源
消费级显卡也能跑出更快的本地大模型推理
LLM speculative inference server for heterogeneous hardware & consumer GPUs
ccs
开源
一个命令行搞定所有 AI 账号和模型切换
Switch between Claude accounts, Gemini, Copilot, OpenRouter (300+ models) via CLIPro···