vllm-sly-radiance
让 AMD R9700 跑 vLLM 推理更快更稳
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 109
核心亮点
- 针对 R9700 单卡做专项调优，提供可直接复现的 ROCm 推理路径
- 聚焦 vLLM 在 AMD 平台上的性能瓶颈，给出 kernel 与调度层面的优化尝试
- 附带基准测试与配置示例，便于开发者对比验证优化效果
不足之处
- 项目处于早期，仅 109 星，硬件适配范围窄，社区与文档积累有限
- 优化主要围绕单一型号 R9700，通用性与长期维护情况待观察
适用场景
- 在 AMD Radeon AI PRO R9700 工作站上部署本地大模型推理服务
- 评估 ROCm 平台 vLLM 推理吞吐与延迟的基准测试
- 为 AMD GPU 推理性能调优做二次开发与实验
替代项目
vllm、SGLang、llama.cpp
上一篇：samir-vllm
下一篇：OrbitKV
同类项目推荐
logto
开源
开箱即用的登录与权限系统，让 SaaS 和 AI 应用快速上线认证
Authentication and authorization infrastructure for SaaS and AI apps, built on OI···
pixeltable
开源
像用数据库一样管理多模态 AI 数据，省去管道工程
The backend agents build with - Multimodal database, orchestration, and serving in o···
nuxt-llms
开源
自动为 Nuxt 站点生成 llms.txt，让 AI 读懂你的网站
Automatically generates /llms.txt markdown documentation for your Nuxt application.
voiceblender
开源
用 API 快速搭建语音 AI 应用，通话、混音、识别全搞定。
A programmable Voice AI platform: SIP and WebRTC call control, multi-party mixing, r···
deequ
开源
用写单元测试的方式给大数据做全量体检
Deequ is a library built on top of Apache Spark for defining "unit tests for data", ···
gpustack
开源
一键管理 GPU 集群，轻松部署高性能 AI 模型服务
A GPU cluster manager for high-performance AI model serving (vLLM, SGLang) and on-de···
Switchyard
开源
不改代码，把 LLM 请求灵活分发到多模型多供应商
Switchyard lets LLM applications route traffic across models and providers while pre···
lantern
开源
在 PostgreSQL 里直接跑向量搜索，不用额外部署向量数据库。
PostgreSQL vector database extension for building AI applications
exstruct
开源
把 Excel 变成 AI 能读懂的 JSON，让智能体自动读写表格。
Conversion from Excel to structured JSON (tables, shapes, charts) for LLM/RAG pipeli···