vLLM-metax
让 vLLM 跑在沐曦 GPU 上，国产卡也能高吞吐推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 187
核心亮点
- 复用 vLLM 的 PagedAttention 与连续批处理，沐曦 GPU 上可获得接近原生的高吞吐推理能力
- 以插件形式接入，不 fork 主仓库，能跟随 vLLM 上游版本迭代
- 面向国产 GPU 生态，为沐曦硬件用户提供了一条低成本迁移现有 vLLM 工作流的路径
不足之处
- 星标仅 173，社区规模小，问题响应和长期维护存在不确定性
- 仅支持沐曦单一硬件平台，通用性和文档完善度待观察
适用场景
- 在沐曦 GPU 服务器上部署大模型推理服务
- 将已有基于 vLLM 的推理代码迁移到国产算力平台
- 对国产 GPU 推理吞吐和显存效率做基准测试与调优
替代项目
vLLM、SGLang
同类项目推荐
featureform
开源
把已有数据库变成特征存储，无需迁移，快速上线ML特征。
The Virtual Feature Store. Turn your existing data infrastructure into a feature sto···
amazon-eks-machine-learning-with···
开源
用 Terraform 一键在 EKS 上搭好 Kubeflow 机器学习平台
MLOps on Amazon EKS
LLM-API-Key-Proxy
开源
一个 API 接入所有大模型，自动切换密钥和负载均衡
Universal LLM Gateway: One API, every LLM. OpenAI/Anthropic-compatible endpoints wit···
tokentelemetry
开源
本地追踪 AI 智能体令牌消耗，成本一目了然
Token telemetry dashboard for AI autonomous and coding agents — tracks tokens, sess···
midjourney-proxy
开源
把 Midjourney 变成 API，一行代码接入 AI 绘图
The world's most complete open-source Midjourney API — Discord, YouChuan and the of···
robustmq
开源
一个二进制搞定多协议消息通信，省掉一堆中间件
Communication infrastructure for the AI era — one binary, one broker, one storage l···
harbor
开源
一条命令启动完整 AI 技术栈，告别繁琐配置
Stop configuring your AI stack. Start using it. One command brings a complete pre-wi···
dockit
开源
用大白话聊数据库，AI 帮你查 Elasticsearch、MongoDB 等，可视化监控一把梭。
Agentic desktop GUI client for Elasticsearch, OpenSearch, DynamoDB, MongoDB & EasySe···
RWKV-Runner
开源
一键跑起 RWKV 模型，8MB 轻量工具，兼容 OpenAI API
A RWKV management and startup tool, full automation, only 8MB. And provides an inter···