vllm-radiance
让 R9700 显卡也能顺畅跑 vLLM 推理服务
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-11-11 · 当前星标 ★ 165
核心亮点
- 针对 R9700 做算子与显存管理调优，填补官方 vLLM 对该卡的适配空白
- 沿用 vLLM 的 PagedAttention 与连续批处理，推理吞吐有基础保障
- 提供 OpenAI 兼容 API，便于接入现有应用与工具链
不足之处
- 项目处于早期，星标少，社区规模小，问题响应和长期维护存在不确定性
- 仅面向 R9700 单一硬件，通用性和文档完整度有限
适用场景
- 手头有 AMD R9700 显卡，想在本地部署大模型推理 API 服务
- 需要 OpenAI 兼容接口，把自建推理接入现有应用或 Agent 框架
- 在特定 AMD 工作站硬件上做模型推理性能验证与调优
替代项目
vLLM、SGLang、llama.cpp
上一篇：BentoVLLM
同类项目推荐
biniou
开源
一个界面搞定 30+ 生成式 AI，本地部署即开即用
a self-hosted webui for 30+ generative ai
symforce
开源
写符号公式，自动生成机器人实时优化代码
Fast symbolic computation, code generation, and nonlinear optimization for robotics
mere-run
开源
在 Mac 上一条命令跑通图像、语音、视频等本地 AI 工作流
Run local image, text, speech, vision, music, and video workflows, plus model manage···
binary-mlc-llm-libs
开源
免编译下载即用，本地跑大模型省去环境折腾
semantica
开源
知识串成图谱，AI 回答有据可查能追责
Graph-Native Infrastructure for Context and Accountable AI Systems
LocalAI
开源
旧电脑不装显卡，也能本地跑起 AI 全家桶
LocalAI is the open-source AI engine. Run any model - LLMs, vision, voice, image, vi···
VoAPI
开源
统一接入多家AI大模型，一个API搞定分发、计费与监控。
全新下一代高颜值、高性能、高扩展的智能AI大模型API聚合分发系统 | A new next-generatio···
gigatoken
开源
用 Rust 把分词速度拉到 GB/s，告别数据预处理瓶颈
Language model tokenization at GB/s
production-stack
开源
把 vLLM 单机推理一键扩成 K8S 集群生产服务
vLLM’s reference system for K8S-native cluster-wide deployment with community-drive···