项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 737
技术标签
核心亮点
- 纯 Rust 实现,无 Python 运行时依赖,部署为单一二进制,内存安全且启动开销低
- 原生支持 Mamba/SSM 与 Transformer 两类架构,覆盖非注意力模型推理需求
- 提供 OpenAI 兼容 API,现有客户端与工具链可直接对接,迁移成本低
不足之处
- 项目处于早期阶段,星标约 737,生态与社区规模尚小,长期维护待观察
- 硬件适配偏重 NVIDIA CUDA 与特定机型,其他加速卡与平台覆盖有限
- 文档与模型支持列表的完整度有待补充,生产级调优经验较少
适用场景
- 在 Rust 后端服务中嵌入大模型推理能力,避免引入 Python 服务层
- 在 DGX Spark 等工作站或边缘设备上自托管模型并提供 OpenAI 兼容接口
- 对 Mamba/SSM 类非 Transformer 架构模型做本地推理与性能验证
替代项目
llama.cpp、vLLM、Ollama
同类项目推荐
antirion
开源
一个 Rust 二进制统一管住所有大模型调用
️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in co···
awesome-ai-gateway
开源
100+ AI 网关选型指南,成本安全合规一网打尽
⚡ Awesome AI Gateway — pick an AI gateway from 240+ (LiteLLM, OpenRouter, Portkey,···
cerul
开源
让 AI 记住视频内容,秒级检索关键画面
Open-source video processing core and CLI. Search and annotate local videos with you···
fox-in-the-box
开源
一键安装 Hermes,快速自托管 AI 助手
Fox in the Box: One-click Hermes Install — self-hosted AI assistant platform
krasis
开源
显存不够也能跑大模型,混合推理榨干硬件性能
Krasis is a Hybrid LLM runtime which focuses on efficient running of larger models o···
model-compose
开源
一个 YAML 文件,快速部署生产级 AI 服务,随处运行。
Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···
doris
开源
一套数据库搞定实时报表与AI向量检索
Apache Doris is a real-time analytics and hybrid search database for AI agents.
vulcan-sql
开源
把数据仓库变成AI能直接调用的API,让Agent轻松取数。
Data API Framework for AI Agents and Data Apps
Sipp
开源
浏览器里直接跑 GGUF 大模型,零依赖 WebGPU 加速
AI inference, packed simply. A blazing-fast, zero-dependency WebGPU runtime to run G···
