uzu

用 Rust 打造超快本地音频 AI 推理,秒级生成声音

uzu 是一个用 Rust 编写的高性能 AI 模型推理引擎,专注于音频和音乐相关的模型部署。它解决了在本地设备上高效运行 AI 模型(尤其是 TTS 等音频模型)的问题,通过利用 Metal 等硬件加速技术,实现低延迟、高吞吐的推理。核心能力包括模型加载、优化和推理执行,支持 LLM 和 TTS 等常见模型类型,并提供简洁的 API 接口。项目处于成长阶段,旨在为开发者提供一个轻量、快速且易于集成的推理解决方案,适用于实时音频生成和边缘计算场景。

开源 free 音频音乐
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1812
维护状态 活跃
是否开源 是
定价模式 free

项目数据

分类音频音乐
开发团队trymirai
所属国家
定价模式free
价格说明开源推理引擎,MIT许可证,完全免费,无付费版本。
访问状态
是否开源是
开源协议MIT
主要语言Rust
技术栈/模型ai,high-performance,inference,llm,metal,rust,tts
GitHub 星标★ 1812
30天Star增速
HF 下载量
上线时间2025-06-23 00:00:00
最近更新2026-09-23 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:入门 约 10 分钟 部署方式:库/依赖 6 步

环境要求

  • Rust 工具链与 Cargo(使用 Rust 绑定时)
  • Python 环境 + uv 包管理器(使用 Python 绑定时)
  • Node.js 环境 + pnpm(使用 TypeScript 绑定时)
  • Swift 工具链与 SPM(使用 Swift 绑定时)
  • 可正常访问 GitHub 与模型下载源的网络

安装与启动步骤

  1. 1选择语言绑定

    README 提供 Rust、Python、Swift、TypeScript 四种绑定,按你的项目技术栈选一种即可,绑定版本均为 0.5.26。

  2. 2安装 Python 依赖

    在项目中使用 uv 添加 uzu 包,README 指定版本 0.5.26,避免与示例 API 不一致。

    uv add uzu==0.5.26
  3. 3安装 TypeScript 依赖

    使用 pnpm 添加官方 npm 包 @trymirai/uzu,版本锁定 0.5.26,与 README 示例对应。

    pnpm add @trymirai/uzu@0.5.26
  4. 4添加 Rust 依赖

    在 Cargo.toml 的 [dependencies] 中写入 README 给出的 git 依赖,分支为 main,包名为 uzu。

    [dependencies]
    uzu = { git = "https://github.com/trymirai/uzu", branch = "main", package = "uzu" }
  5. 5添加 Swift 依赖

    在 Package.swift 的 dependencies 数组中声明 uzu 包,版本从 0.5.26 起,随后 import Uzu。

    dependencies: [
        .package(url: "https://github.com/trymirai/uzu.git", from: "0.5.26")
    ]
  6. 6运行示例代码

    把 README 中对应语言的 Quick Start 代码复制到 main 文件后运行;模型会自动下载并输出进度。

关键配置

配置项必填说明示例
model identifier是指定要加载的模型,示例为 alibaba:qwen3.5:0.8b:mirai:mirai-m:4alibaba:qwen3.5:0.8b:mirai:mirai-m:4
EngineConfig是引擎配置对象,README 示例中先用默认配置创建引擎EngineConfig::default() / EngineConfig.create()
ChatConfig否会话配置,示例中使用默认值创建 chat 会话ChatConfig::default() / ChatConfig.create()
ChatReplyConfig否回复生成配置,示例中使用默认值提交消息并获取回复ChatReplyConfig::default() / ChatReplyConfig.create()

如何确认成功

运行示例后终端先输出下载进度到 100%,随后打印 Reasoning 与 Text 即表示推理成功。

常见问题

Q:需要自己手动下载模型吗?

A:不需要。示例中调用 engine.download 会自动下载模型并实时打印进度百分比,下载完成后即可进入推理环节。

Q:支持哪些编程语言?

A:README 提供 Rust、Python、Swift、TypeScript 四种绑定,对应版本均为 0.5.26,按项目技术栈任选其一即可。

Q:如何自定义下载或推理流程?

A:README 只给出默认配置示例,并提示 Everything handled automatically,自定义细节需查阅官方文档 https://docs.trymirai.com。

Q:模型标识符填错会怎样?

A:engine.model 会返回空结果,示例代码中会直接返回或抛出 Model not found 错误,检查标识符拼写即可。

注意事项

  • Python、TypeScript、Swift 绑定版本均对齐 0.5.26,混用版本可能导致 API 不一致。
  • 示例代码均为异步风格,需用对应语言的 async 运行时入口执行。
  • 首次运行需要下载模型权重,耗时取决于网络状况。
  • 项目基于 MIT 许可证发布,详细推理配置见官方文档 docs.trymirai.com。

核心亮点

  • 基于 Rust 实现,内存安全且性能接近 C++,推理延迟低
  • 深度优化 Metal 后端,在 Apple 设备上发挥极致 GPU 性能
  • 专注音频场景,对 TTS 等模型有针对性优化,开箱即用

不足之处

  • 目前仅支持 Apple 平台(Metal),跨平台支持有限
  • 项目较新,生态和文档待完善,社区贡献者较少

适用场景

  • 在 Mac 上本地运行实时语音合成应用
  • 为音频生成类 AI 产品提供高性能推理后端
  • 在资源受限的边缘设备上部署轻量级音频模型

替代项目

Candle、llama.cpp、whisper.cpp

项目介绍

uzu 是基础设施领域的开源项目,由 trymirai 开发,2025 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,812)位列前 30%,在基础设施分类中处于中上游。

近 45 天,它的 GitHub 星标从 1,670 增加到 1,812,净增 142。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-23。开源推理引擎,MIT许可证,完全免费,无付费版本。

它主要面向的使用场景是:在Mac上本地运行实时语音合成应用。同类可对比的替代方案包括 Candle、llama.cpp、whisper.cpp。

上一篇:mosec

下一篇:nobodywho

同类项目推荐

freebuff-proxy 开源

聚合多账号,一键接入 OpenAI 兼容 API,轻松管理会话。

Multi-account OpenAI-compatible gateway for coding models. Pooled keys, session life···

★ 213 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭,快速上手双足机器人。

A Tiny biped duck robot

★ 8684 2026-09-10
soperator 开源

用 Kubernetes 原生方式运行 Slurm,简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 439 2026-08-10
ollama 开源

一条命令本地跑起大模型,免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 181484 2026-08-09