amd-strix-halo-vllm-toolboxes
AMD 小主机一键跑 vLLM 本地推理
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-28 · 当前星标 ★ 539
核心亮点
- 用容器封装 ROCm 与 vLLM 依赖，省去手工配环境
- 针对 Strix Halo 统一内存架构做适配，能利用大显存跑较大模型
- 提供 OpenAI 兼容接口，便于接入现有应用与前端
不足之处
- 仅覆盖 Strix Halo 单一平台，其他 AMD 硬件适配有限
- 早期项目，文档与问题排查资料相对薄弱
适用场景
- 在 AMD Strix Halo 迷你主机上部署本地大模型推理服务
- 做 AMD 集显跑 vLLM 的性能与吞吐测试
- 为内部应用提供本地 OpenAI 兼容 API
替代项目
vLLM、Ollama、llama.cpp
上一篇：ds-free-api
下一篇：vllm-jev
同类项目推荐
qwen.cpp
开源
用 C++ 在本地快速跑通 Qwen 模型，无需 Python 环境。
C++ implementation of Qwen-LM
copilot-api
开源
把 Copilot 订阅变成 OpenAI 兼容 API，一行代码接入现有应用
GitHub Copilot, OpenAI Codex, OpenCode Go, and third-party AI provider gateway with ···
pgai
开源
在 PostgreSQL 里直接跑 AI，省掉向量数据库和复杂管道
A suite of tools to develop RAG, semantic search, and other AI applications more eas···
Flash-Sparse-Attention
开源
让长序列注意力更快更省，即插即用替换标准注意力
Efficient implementations of Native Sparse Attention
anemll-flash-llama.cpp
开源
让 Mac 统一内存也能跑动超大 MoE 模型
Flash-MoE sidecar slot-bank runtime for large GGUF MoE models on Apple Silicon — ll···
gateway
开源
用 Rust 和 Go 打造 AI 时代的 Kubernetes 网关
Nantian Gateway — Kubernetes Gateway API implementation with AI proxy, WASM plugin ···
TensorRT-Model-Connect
开源
两条命令把 PyTorch 模型跑成 TensorRT 推理
From PyTorch model to end-to-end TensorRT inference experience in two commands—AI-n···
Electron-BitNet
开源
在桌面轻松跑微软 BitNet，无需命令行
Running Microsoft's BitNet via Electron, React & Astro
data-science-best-practices
开源
把数据科学项目从原型打磨成生产级系统
The goal of this repository is to enable data scientists and ML engineers to develop···