vllm-mxfp4
让 AMD R9700 跑大模型推理更快更省显存
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 183
核心亮点
- 针对 AMD R9700 做算子与调度优化，同硬件下推理吞吐优于通用构建
- 引入 MXFP4 量化路径，显著降低显存占用，便于在单卡上跑更大模型
- 兼容 vLLM 生态，OpenAI 风格接口与模型加载流程基本可直接复用
不足之处
- 项目早期，硬件适配集中在 R9700，其他 AMD 卡与 NVIDIA 平台支持有限
- 文档与版本兼容说明较少，升级 vLLM 上游后可能需要自行排查问题
适用场景
- 在 AMD R9700 工作站上部署本地大模型推理服务
- 用低精度量化在单卡显存内运行更大参数模型
- 对比不同量化方案在 AMD 平台上的吞吐与精度表现
替代项目
vLLM、SGLang、llama.cpp
上一篇：vllm-lens
同类项目推荐
space
开源
一个框架管好机器学习全流程的存储，告别散乱文件
Unified storage framework for the entire machine learning lifecycle
FlexLLMGen
开源
单卡跑大模型，吞吐量翻倍，省钱又高效
Running large language models on a single GPU for throughput-oriented scenarios.
gpu-telemetry
开源
一个代理，让每块 GPU 的消耗都精确到 Pod 或作业
GPU Observability with workload attribution. One OTLP agent per node ties hardware m···
llm-d-inference-sim
开源
不装 GPU 不跑模型，秒起一个假 vLLM 服务
A lightweight, configurable, and real-time simulator designed to mimic the behavior ···
dns-aid-core
开源
用 DNS 让 AI 智能体像网站一样被找到和验证
DNS-based Agent Identification and Discovery - Reference Implementation for IETF BAN···
NeuroAPI
开源
俄罗斯开发者一键接入全球主流 AI 模型，绕过支付和地域限制。
NeuroAPI: российский AI API для Codex CLI и Claude Code — безопа···
tensorzero
开源
大模型上线后的监控调优全包办，出问题不再抓瞎
TensorZero is an open-source LLMOps platform that unifies an LLM gateway, observabil···
docker-containers
开源
拉取即用，快速搭建 fast.ai 深度学习环境
Docker images for fastai
model-compose
开源
一个 YAML 文件，快速部署生产级 AI 服务，随处运行。
Declarative AI pipelines in one YAML file. Tokens, audio chunks, and video frames fl···