amd
本站收录 15 个带「amd」标签的 AI 开源项目
vllm面向 LLM 的高吞吐、内存高效的推理与 serving 引擎，支持 PagedAttention 等核心技术，是大规模模型部署与在线服务的事实标准之一。★ 92,945
LMCacheLMCache 是一个专为大型语言模型（LLM）推理场景设计的 KV 缓存加速层，旨在解决长上下文和多轮对话场景下推理速度慢、显存占用高的问题。它通过智能管理 ★ 11,941
ODSODS 是一个开源的本地 AI 服务器解决方案，旨在将个人电脑（PC、Mac 或 Linux）转变为功能全面的 AI 中心。它解决了用户对数据隐私、离线可用性和★ 6,900
lemonadeLemonade 是一个面向本地 AI 应用的开源推理引擎，旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私★ 5,797
dstackdstack 是一个厂商中立的编排平台，专为 AI 训练、推理和智能体工作负载设计。它解决了 AI 团队在混合基础设施（云、Kubernetes、裸金属）上运行★ 2,264
FastFlowLMFastFlowLM 是一个专为 AMD Ryzen AI NPU 深度优化的开源推理引擎，目标是在 AMD 平台上实现大语言模型的高效本地运行。它借鉴了 Ol★ 1,913
InferenceXInferenceX 是一个开源的持续推理基准研究平台，专注在大规模 LLM 推理场景下做可复现、可持续的性能评测。它把当下主流大模型（如 Kimi、MiniM★ 1,792
gaiaGaia 是 AMD 推出的开源 AI 智能体框架，专为在个人电脑上本地运行 AI 代理而设计。它解决的核心问题是：让普通 PC 用户无需依赖云端服务，就能构建★ 1,574
ucclUCCL 是一个面向 GPU 的高效通信库，专注于解决大规模 AI 训练和推理中的数据传输瓶颈。它覆盖了集合通信（如 AllReduce、AllGather）、★ 1,533
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo（gfx1151）平台的本地大模型推理部署脚本，目标是让用户以最快速度在搭载该★ 729
onnx-webonnx-web 是一个基于 Web 的图形界面，用于运行 GPU 加速的 ONNX 推理管线，特别针对 Stable Diffusion 等图像生成模型。它解★ 233
qwenimage-ncnn-vulkan这是一个把通义千问图像模型 Qwen-Image-2.1 移植到 ncnn 推理框架的开源项目，用 C++ 编写并基于 Vulkan 做 GPU 加速。它解决的★ 197
stable-diffusion-rocm-docker这是一个为AMD Radeon显卡预配置的Stable Diffusion Docker镜像项目。它解决了在AMD GPU上运行Stable Diffusion★ 146
ROCm-RX6600XT这是一个面向AMD Radeon RX 6600 XT显卡的ROCm安装指南，旨在帮助用户在Linux系统上配置AMD GPU的深度学习环境，支持TensorF★ 85
gpu-telemetrygpu-telemetry 是一个面向 GPU 可观测性的开源项目，核心解决 GPU 资源在 Kubernetes 或 Slurm 集群中“被谁使用”的问题。它★ 70