uzu

用 Rust 打造超快本地音频 AI 推理,秒级生成声音

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 音频音乐 🍴 复刻 223 🐛 待处理 26 👀 关注 22
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3241
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源推理引擎,MIT许可证,完全免费,无付费版本。

项目预览

uzu 项目界面预览图
图片来源:项目官网

项目数据

分类音频音乐
开发团队trymirai
定价模式🏷️完全免费
价格说明开源推理引擎,MIT许可证,完全免费,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型ai,high-performance,inference,llm,metal,rust,tts
GitHub 星标★ 3241
上线时间2025-06-23 00:00:00
代码更新2026-11-09
仓库体积27.9 MB
本站数据更新2026-11-09
维护状态活跃
收录时间2026-08-09
浏览次数4

项目介绍

uzu 是一个用 Rust 编写的高性能 AI 模型推理引擎,专注于音频和音乐相关的模型部署。它解决了在本地设备上高效运行 AI 模型(尤其是 TTS 等音频模型)的问题,通过利用 Metal 等硬件加速技术,实现低延迟、高吞吐的推理。核心能力包括模型加载、优化和推理执行,支持 LLM 和 TTS 等常见模型类型,并提供简洁的 API 接口。项目处于成长阶段,旨在为开发者提供一个轻量、快速且易于集成的推理解决方案,适用于实时音频生成和边缘计算场景。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3241

技术标签

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • Rust 工具链与 Cargo(使用 Rust 绑定时)
  • Python 环境 + uv 包管理器(使用 Python 绑定时)
  • Node.js 环境 + pnpm(使用 TypeScript 绑定时)
  • Swift 工具链与 SPM(使用 Swift 绑定时)
  • 可正常访问 GitHub 与模型下载源的网络

安装与启动步骤

  1. 1选择语言绑定

    README 提供 Rust、Python、Swift、TypeScript 四种绑定,按你的项目技术栈选一种即可,绑定版本均为 0.5.26。

  2. 2安装 Python 依赖

    在项目中使用 uv 添加 uzu 包,README 指定版本 0.5.26,避免与示例 API 不一致。

    uv add uzu==0.5.26
  3. 3安装 TypeScript 依赖

    使用 pnpm 添加官方 npm 包 @trymirai/uzu,版本锁定 0.5.26,与 README 示例对应。

    pnpm add @trymirai/uzu@0.5.26
  4. 4添加 Rust 依赖

    在 Cargo.toml 的 [dependencies] 中写入 README 给出的 git 依赖,分支为 main,包名为 uzu。

    [dependencies]
    uzu = { git = "https://github.com/trymirai/uzu", branch = "main", package = "uzu" }
  5. 5添加 Swift 依赖

    在 Package.swift 的 dependencies 数组中声明 uzu 包,版本从 0.5.26 起,随后 import Uzu。

    dependencies: [
        .package(url: "https://github.com/trymirai/uzu.git", from: "0.5.26")
    ]
  6. 6运行示例代码

    把 README 中对应语言的 Quick Start 代码复制到 main 文件后运行;模型会自动下载并输出进度。

关键配置

配置项必填说明示例
model identifier是指定要加载的模型,示例为 alibaba:qwen3.5:0.8b:mirai:mirai-m:4alibaba:qwen3.5:0.8b:mirai:mirai-m:4
EngineConfig是引擎配置对象,README 示例中先用默认配置创建引擎EngineConfig::default() / EngineConfig.create()
ChatConfig否会话配置,示例中使用默认值创建 chat 会话ChatConfig::default() / ChatConfig.create()
ChatReplyConfig否回复生成配置,示例中使用默认值提交消息并获取回复ChatReplyConfig::default() / ChatReplyConfig.create()

如何确认成功

运行示例后终端先输出下载进度到 100%,随后打印 Reasoning 与 Text 即表示推理成功。

常见问题

Q:需要自己手动下载模型吗?

A:不需要。示例中调用 engine.download 会自动下载模型并实时打印进度百分比,下载完成后即可进入推理环节。

Q:支持哪些编程语言?

A:README 提供 Rust、Python、Swift、TypeScript 四种绑定,对应版本均为 0.5.26,按项目技术栈任选其一即可。

Q:如何自定义下载或推理流程?

A:README 只给出默认配置示例,并提示 Everything handled automatically,自定义细节需查阅官方文档 https://docs.trymirai.com。

Q:模型标识符填错会怎样?

A:engine.model 会返回空结果,示例代码中会直接返回或抛出 Model not found 错误,检查标识符拼写即可。

注意事项

  • Python、TypeScript、Swift 绑定版本均对齐 0.5.26,混用版本可能导致 API 不一致。
  • 示例代码均为异步风格,需用对应语言的 async 运行时入口执行。
  • 首次运行需要下载模型权重,耗时取决于网络状况。
  • 项目基于 MIT 许可证发布,详细推理配置见官方文档 docs.trymirai.com。

核心亮点

  • 基于 Rust 实现,内存安全且性能接近 C++,推理延迟低
  • 深度优化 Metal 后端,在 Apple 设备上发挥极致 GPU 性能
  • 专注音频场景,对 TTS 等模型有针对性优化,开箱即用

不足之处

  • 目前仅支持 Apple 平台(Metal),跨平台支持有限
  • 项目较新,生态和文档待完善,社区贡献者较少

适用场景

  • 在 Mac 上本地运行实时语音合成应用
  • 为音频生成类 AI 产品提供高性能推理后端
  • 在资源受限的边缘设备上部署轻量级音频模型

替代项目

Candle、llama.cpp、whisper.cpp

上一篇:mosec

下一篇:nobodywho

同类项目推荐

JetStream 开源

在 TPU 上榨干每一分性能,让 LLM 推理更快更省内存

JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···

★ 473 2026-08-09
LLM-Tools 开源

输入模型参数,秒算 GPU 显存和硬件需求

Open-source calculator for LLM system requirements.

★ 183 2026-08-09
a-guide-to-mlops 开源

从传统到现代,一份指南带你玩转MLOps工具链

A simple yet complete guide to MLOps tools and practices - from a conventional way t···

★ 63 2026-08-09
inference 开源

一行代码部署视觉模型,让任何设备秒变 CV 指挥中心

Turn any computer or edge device into a command center for your computer vision proj···

★ 2488 2026-08-10
mav 开源

实时看模型训练过程,快速定位训练问题

Model Activity Visualiser

★ 520 2026-08-09
TiktokenSharp 开源

C# 项目轻松算 Token,精准控成本

Token calculation for OpenAI models, using `o200k_base` `cl100k_base` `p50k_base` ···

★ 128 2026-08-09
SparkDiffusion 开源

多技术叠加让 DiT 视频生成提速 265 倍

SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Disti···

★ 637 2026-10-09
ai-gateway 开源

一个网关接入30+大模型,自带缓存、护栏和成本控制

Unified AI Gateway for 30+ LLMs (OpenAI, Anthropic, Bedrock, Azure etc) with Caching···

★ 283 2026-08-09
MLOps 开源

跟着示例,快速上手机器学习运维全流程

MLOps examples

★ 2121 2026-08-09