atlas

纯 Rust 写的大模型推理引擎,自带 OpenAI 兼容接口

开源 🏷️定价信息待确认 ⏳ 访问状态待核验 基础设施 🍴 复刻 107 🐛 待处理 208 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 737
维护状态 活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

atlas 项目界面预览图
图片来源:项目官网

项目数据

分类基础设施
开发团队Avarok-Cybersecurity
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态⏳ 访问状态待核验
是否开源是
开源协议AGPL-3.0
主要语言Rust
技术栈/模型cuda,dgx,dgx-spark,gb10,llm-inference,mamba,nvfp4,openai-api,rust,speculative-decoding,ssm,transformers
GitHub 星标★ 737
上线时间2026-05-05 00:00:00
代码更新2026-11-16
仓库体积238.4 MB
本站数据更新2026-11-22
维护状态活跃
收录时间2026-11-22
浏览次数0

项目介绍

Atlas 是一个用纯 Rust 编写的 LLM 推理引擎,目标是在不依赖 Python 运行时的情况下提供高性能、低开销的大模型推理服务。它解决的核心问题是传统推理栈(如 PyTorch + Python 服务层)部署复杂、内存与调度开销大、难以嵌入生产系统。引擎原生支持 Transformer 与 Mamba/SSM 架构,集成 CUDA 加速,并针对 NVIDIA DGX Spark、GB10 等新硬件做了适配,同时支持 NVFP4 低精度格式以降低显存占用。功能上提供 OpenAI 兼容 API,便于现有客户端直接接入;支持投机解码(speculative decoding)提升生成吞吐。整体定位是面向自托管与边缘/工作站场景的 Rust 原生推理后端,强调单二进制部署、内存安全与可预测的延迟表现,适合希望把推理能力嵌入 Rust 服务或对 Python 依赖敏感的基础设施团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-22 · 当前星标 ★ 737

核心亮点

  • 纯 Rust 实现,无 Python 运行时依赖,部署为单一二进制,内存安全且启动开销低
  • 原生支持 Mamba/SSM 与 Transformer 两类架构,覆盖非注意力模型推理需求
  • 提供 OpenAI 兼容 API,现有客户端与工具链可直接对接,迁移成本低

不足之处

  • 项目处于早期阶段,星标约 737,生态与社区规模尚小,长期维护待观察
  • 硬件适配偏重 NVIDIA CUDA 与特定机型,其他加速卡与平台覆盖有限
  • 文档与模型支持列表的完整度有待补充,生产级调优经验较少

适用场景

  • 在 Rust 后端服务中嵌入大模型推理能力,避免引入 Python 服务层
  • 在 DGX Spark 等工作站或边缘设备上自托管模型并提供 OpenAI 兼容接口
  • 对 Mamba/SSM 类非 Transformer 架构模型做本地推理与性能验证

替代项目

llama.cpp、vLLM、Ollama

上一篇:oh-my-cpa

下一篇:basalt

同类项目推荐

antirion 开源

一个 Rust 二进制统一管住所有大模型调用

️ The fastest open-source AI Gateway and LLM Gateway — one binary with built-in co···

★ 429 2026-10-21
awesome-ai-gateway 开源

100+ AI 网关选型指南,成本安全合规一网打尽

⚡ Awesome AI Gateway — pick an AI gateway from 240+ (LiteLLM, OpenRouter, Portkey,···

★ 158 2026-08-09
cerul 开源

让 AI 记住视频内容,秒级检索关键画面

Open-source video processing core and CLI. Search and annotate local videos with you···

★ 166 2026-08-09
fox-in-the-box 开源

一键安装 Hermes,快速自托管 AI 助手

Fox in the Box: One-click Hermes Install — self-hosted AI assistant platform

★ 88 2026-08-09
krasis 开源

显存不够也能跑大模型,混合推理榨干硬件性能

Krasis is a Hybrid LLM runtime which focuses on efficient running of larger models o···

★ 530 2026-08-09
model-compose 开源

一个 YAML 文件,快速部署生产级 AI 服务,随处运行。

Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···

★ 118 2026-08-09
doris 开源

一套数据库搞定实时报表与AI向量检索

Apache Doris is a real-time analytics and hybrid search database for AI agents.

★ 16246 2026-09-12
vulcan-sql 开源

把数据仓库变成AI能直接调用的API,让Agent轻松取数。

Data API Framework for AI Agents and Data Apps

★ 792 2026-08-09
Sipp 开源

浏览器里直接跑 GGUF 大模型,零依赖 WebGPU 加速

AI inference, packed simply. A blazing-fast, zero-dependency WebGPU runtime to run G···

★ 125 2026-10-16