OnnxStream

让树莓派跑SDXL，低内存设备也能玩转大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署图像生成 🍴 复刻 99 🐛 待处理 67 👀 关注 28

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2087

维护状态低维护

是否开源开源

定价模式 🏷️完全免费开源库，完全免费，可自行部署使用。

项目预览

项目数据

分类图像生成

开发团队vitoplantamura

官网地址https://whisper.vitoplantamura.com

GitHubhttps://github.com/vitoplantamura/OnnxStream

定价模式🏷️完全免费

价格说明开源库，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言C++

技术栈/模型llama,machine-learning,mistral,onnx,raspberry-pi,stable-diffusion,tinyml,wasm,webassembly,whisper,yolov8

GitHub 星标★ 2087

上线时间2023-07-14 00:00:00

代码更新2026-06-18

仓库体积37.5 MB

本站数据更新2026-11-09

维护状态低维护

收录时间2026-08-09

浏览次数3

项目介绍

OnnxStream 是一个轻量级的 ONNX 推理库，用 C++ 编写，专为资源受限环境设计。它解决了在低内存、低算力设备（如树莓派 Zero 2）上运行大型模型的问题，能在 298MB 内存中运行 Stable Diffusion XL 1.0，在桌面和服务器上也能运行 Mistral 7B 等大模型。核心能力包括：支持 ARM、x86、WASM、RISC-V 多架构，通过 XNNPACK 加速，提供 Python、C# 和 JS(WASM) 绑定，覆盖图像生成、文本生成、语音识别（Whisper）和物体检测（YOLOv8）等场景。其设计强调极低内存占用和可移植性，适合边缘计算和嵌入式部署。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2087

技术标签

llama machine-learning mistral onnx raspberry-pi

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：进阶约 30 分钟部署方式：命令行工具 5 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

Python 环境（用于运行 onnx_simplifier）
从 Hugging Face 导出模型时约需 100GB 交换空间
手动固定输入形状时建议 16GB 内存
OnnxStream 的 Windows release（含标准 SD 1.5 模型与可执行文件）

安装与启动步骤

1获取 OnnxStream

从 README 提到的 Windows release 获取 OnnxStream，其中包含标准 SD 1.5 模型与可执行文件。
2简化 ONNX 模型

使用 onnx_simplifier 对固定后的模型进行简化，生成 model_simplified.onnx。
```
python -m onnx_simplifier model_fixed3.onnx model_simplified.onnx
```
3处理大模型简化

若简化大模型时出错，可尝试 README 提供的 onnxsim_large_model 工具。
4放入 unet_fp16 目录

将 onnx2txt 生成的最终模型移入标准 SD 1.5 模型的 unet_fp16 文件夹。
5运行模型

在已放好模型的目录下执行 sd 可执行文件，指定模型路径、提示词、步数，并启用树莓派模式。
```
./sd --models-path ./Converted/ --prompt "space landscape" --steps 28 --rpi
```

关键配置

配置项	必填	说明	示例
`--models-path`	是	指定转换后模型的存放目录	`./Converted/`
`--prompt`	是	生成图像所用的文本提示词	`space landscape`
`--steps`	否	扩散推理的采样步数	`28`
`--rpi`	否	README 示例中使用的标志，用于低资源设备（如树莓派）	`--rpi`