项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3241
使用教程
环境要求
- Rust 工具链与 Cargo(使用 Rust 绑定时)
- Python 环境 + uv 包管理器(使用 Python 绑定时)
- Node.js 环境 + pnpm(使用 TypeScript 绑定时)
- Swift 工具链与 SPM(使用 Swift 绑定时)
- 可正常访问 GitHub 与模型下载源的网络
安装与启动步骤
-
1选择语言绑定
README 提供 Rust、Python、Swift、TypeScript 四种绑定,按你的项目技术栈选一种即可,绑定版本均为 0.5.26。
-
2安装 Python 依赖
在项目中使用 uv 添加 uzu 包,README 指定版本 0.5.26,避免与示例 API 不一致。
uv add uzu==0.5.26 -
3安装 TypeScript 依赖
使用 pnpm 添加官方 npm 包 @trymirai/uzu,版本锁定 0.5.26,与 README 示例对应。
pnpm add @trymirai/uzu@0.5.26 -
4添加 Rust 依赖
在 Cargo.toml 的 [dependencies] 中写入 README 给出的 git 依赖,分支为 main,包名为 uzu。
[dependencies] uzu = { git = "https://github.com/trymirai/uzu", branch = "main", package = "uzu" } -
5添加 Swift 依赖
在 Package.swift 的 dependencies 数组中声明 uzu 包,版本从 0.5.26 起,随后 import Uzu。
dependencies: [ .package(url: "https://github.com/trymirai/uzu.git", from: "0.5.26") ] -
6运行示例代码
把 README 中对应语言的 Quick Start 代码复制到 main 文件后运行;模型会自动下载并输出进度。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
model identifier | 是 | 指定要加载的模型,示例为 alibaba:qwen3.5:0.8b:mirai:mirai-m:4 | alibaba:qwen3.5:0.8b:mirai:mirai-m:4 |
EngineConfig | 是 | 引擎配置对象,README 示例中先用默认配置创建引擎 | EngineConfig::default() / EngineConfig.create() |
ChatConfig | 否 | 会话配置,示例中使用默认值创建 chat 会话 | ChatConfig::default() / ChatConfig.create() |
ChatReplyConfig | 否 | 回复生成配置,示例中使用默认值提交消息并获取回复 | ChatReplyConfig::default() / ChatReplyConfig.create() |
如何确认成功
运行示例后终端先输出下载进度到 100%,随后打印 Reasoning 与 Text 即表示推理成功。
常见问题
Q:需要自己手动下载模型吗?
A:不需要。示例中调用 engine.download 会自动下载模型并实时打印进度百分比,下载完成后即可进入推理环节。
Q:支持哪些编程语言?
A:README 提供 Rust、Python、Swift、TypeScript 四种绑定,对应版本均为 0.5.26,按项目技术栈任选其一即可。
Q:如何自定义下载或推理流程?
A:README 只给出默认配置示例,并提示 Everything handled automatically,自定义细节需查阅官方文档 https://docs.trymirai.com。
Q:模型标识符填错会怎样?
A:engine.model 会返回空结果,示例代码中会直接返回或抛出 Model not found 错误,检查标识符拼写即可。
注意事项
- Python、TypeScript、Swift 绑定版本均对齐 0.5.26,混用版本可能导致 API 不一致。
- 示例代码均为异步风格,需用对应语言的 async 运行时入口执行。
- 首次运行需要下载模型权重,耗时取决于网络状况。
- 项目基于 MIT 许可证发布,详细推理配置见官方文档 docs.trymirai.com。
核心亮点
- 基于 Rust 实现,内存安全且性能接近 C++,推理延迟低
- 深度优化 Metal 后端,在 Apple 设备上发挥极致 GPU 性能
- 专注音频场景,对 TTS 等模型有针对性优化,开箱即用
不足之处
- 目前仅支持 Apple 平台(Metal),跨平台支持有限
- 项目较新,生态和文档待完善,社区贡献者较少
适用场景
- 在 Mac 上本地运行实时语音合成应用
- 为音频生成类 AI 产品提供高性能推理后端
- 在资源受限的边缘设备上部署轻量级音频模型
替代项目
Candle、llama.cpp、whisper.cpp
同类项目推荐
JetStream
开源
在 TPU 上榨干每一分性能,让 LLM 推理更快更省内存
JetStream is a throughput and memory optimized engine for LLM inference on XLA devic···
LLM-Tools
开源
输入模型参数,秒算 GPU 显存和硬件需求
Open-source calculator for LLM system requirements.
a-guide-to-mlops
开源
从传统到现代,一份指南带你玩转MLOps工具链
A simple yet complete guide to MLOps tools and practices - from a conventional way t···
inference
开源
一行代码部署视觉模型,让任何设备秒变 CV 指挥中心
Turn any computer or edge device into a command center for your computer vision proj···
mav
开源
实时看模型训练过程,快速定位训练问题
Model Activity Visualiser
TiktokenSharp
开源
C# 项目轻松算 Token,精准控成本
Token calculation for OpenAI models, using `o200k_base` `cl100k_base` `p50k_base` ···
SparkDiffusion
开源
多技术叠加让 DiT 视频生成提速 265 倍
SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Disti···
ai-gateway
开源
一个网关接入30+大模型,自带缓存、护栏和成本控制
Unified AI Gateway for 30+ LLMs (OpenAI, Anthropic, Bedrock, Azure etc) with Caching···
MLOps
开源
跟着示例,快速上手机器学习运维全流程
MLOps examples
