项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-31 · 当前星标 ★ 839
核心亮点
- 用 Rust 实现，内存安全且运行时开销低，契合端侧资源受限环境
- 提供统一推理抽象层，减少多硬件、多模型格式下的重复适配工作
- 库式集成方式清晰，便于嵌入到已有边缘应用中
不足之处
- 早期项目，后端覆盖与算子支持仍在完善中
- 文档与社区生态相对薄弱，生产落地需自行验证
适用场景
- 嵌入式设备上部署轻量视觉或语音模型
- 边缘网关本地推理，减少数据外传
- Rust 项目中集成端侧 AI 推理能力
替代项目
ONNX Runtime、llama.cpp、TVM
上一篇：sbx-releases
同类项目推荐
nexus
开源
用 Rust 给 AI 上把锁，治理安全两不误
Govern & Secure your AI
last9-mcp-server
开源
让AI助手看懂系统监控，用自然语言排查故障
Last9 MCP Server
LMCache
开源
复用KV缓存，让LLM推理快如闪电
LMCache: Supercharge Your LLM with the Fastest KV Cache Layer
airweave
开源
各种数据源一次接好，智能体随时有料可查
Open-source context retrieval layer for AI agents
Bailo
开源
一站式管理 ML 模型全生命周期，让模型资产安全共享、合规可溯。
Managing the lifecycle of machine learning to support scalability, impact, collabora···
sie
开源
一个服务搞定所有模型，让智能体部署不再头疼
Open-source inference server and production cluster for all the models your agent ne···
openlit
开源
一键接入，全栈监控你的 LLM 应用，从开发到生产。
OpenLIT is the open-source agent harness engineering platform: trace, evaluate, guar···
EverOS
开源
给每个 AI 代理装一个随身记忆库，跨应用不忘事
One portable memory layer for every AI agent: local-first, Markdown-native, user-own···
afm-Server
开源
把苹果设备端模型变成本地 OpenAI API，一键调用
macOS menu bar app that exposes Apple's on-device Foundation Models as an OpenAI-com···