amd-r9700-vllm-toolboxes
在 AMD R9700 上一键搭起 vLLM 推理服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 208
核心亮点
- 针对 AMD R9700 给出可执行的 vLLM 环境准备与启动模板，省去逐项排查依赖的时间
- 把常用推理参数整理成预设，便于快速对比不同显存占用与并行配置下的表现
- 以脚本和配置为主，结构轻量，容易按自身硬件和模型替换改造
不足之处
- 项目处于早期，星标与使用案例较少，长期维护和兼容性待观察
- 主要围绕单一型号显卡，其他 AMD 显卡或 ROCm 版本差异需要自行调整
适用场景
- 在 AMD R9700 工作站上本地部署大模型推理服务并做性能测试
- 团队评估 AMD GPU 运行 vLLM 的可行性与参数调优基线
- 为内部模型服务搭建可复现的 AMD 推理环境模板
替代项目
vLLM、text-generation-inference、SGLang
上一篇：vllm-mxfp4
同类项目推荐
lemonade
开源
一键在本地 GPU/NPU 上跑优化大模型，数据不出门
Lemonade helps users discover and run local AI apps by serving optimized LLMs right ···
TensorFold
开源
Mac 本地跑大模型，快而不糊，接口直接兼容 OpenAI
LLM Inference Engine for Metal, CUDA and Vulkan.
ChatGPTReversed
开源
免费逆向 ChatGPT 网页版，一键转成标准 API 调用
Free ChatGPT API reversed and simplified
azhpc-images
开源
一键构建 Azure 上优化好的 HPC/AI 虚拟机镜像，省去环境配置烦恼
Azure HPC/AI VM Images
krasis
开源
显存不够也能跑大模型，混合推理榨干硬件性能
Krasis is a Hybrid LLM runtime which focuses on efficient running of larger models o···
MLOpsTemplate
开源
一键搭建标准化MLOps流水线，快速落地生产
Providing tools and templates to facilitate modern MLOps practices
tokentab
开源
一条命令，算清所有 AI 编程工具花了多少钱
A CLI that reads Claude Code, Codex, and Gemini CLI session logs and works out how m···
myapi
开源
一个终端，搞定网站、后端和支付，快速落地真实业务。
The unified API for autonomous companies. Ship a real business — website, backend, ···
doubao2api
开源
把豆包变成 OpenAI 接口，免费多模态调用
Reverse-engineered Doubao (豆包) API → OpenAI-compatible REST service. Free multimo···