amd
本站收录 23 个带「amd」标签的 AI 开源项目
vllm面向 LLM 的高吞吐、内存高效的推理与 serving 引擎,支持 PagedAttention 等核心技术,是大规模模型部署与在线服务的事实标准之一。★ 96,952
LMCacheLMCache 是一个专为大型语言模型(LLM)推理场景设计的 KV 缓存加速层,旨在解决长上下文和多轮对话场景下推理速度慢、显存占用高的问题。它通过智能管理 ★ 12,367
ODSODS 是一个开源的本地 AI 服务器解决方案,旨在将个人电脑(PC、Mac 或 Linux)转变为功能全面的 AI 中心。它解决了用户对数据隐私、离线可用性和★ 7,832
lemonadeLemonade 是一个面向本地 AI 应用的开源推理引擎,旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私★ 6,215
luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器,用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是:在非数据中★ 3,007
dstackdstack 是一个厂商中立的编排平台,专为 AI 训练、推理和智能体工作负载设计。它解决了 AI 团队在混合基础设施(云、Kubernetes、裸金属)上运行★ 2,310
FastFlowLMFastFlowLM 是一个专为 AMD Ryzen AI NPU 深度优化的开源推理引擎,目标是在 AMD 平台上实现大语言模型的高效本地运行。它借鉴了 Ol★ 2,050
InferenceXInferenceX 是一个开源的持续推理基准研究平台,专注在大规模 LLM 推理场景下做可复现、可持续的性能评测。它把当下主流大模型(如 Kimi、MiniM★ 2,039
gaiaGaia 是 AMD 推出的开源 AI 智能体框架,专为在个人电脑上本地运行 AI 代理而设计。它解决的核心问题是:让普通 PC 用户无需依赖云端服务,就能构建★ 1,624
ucclUCCL 是一个面向 GPU 的高效通信库,专注于解决大规模 AI 训练和推理中的数据传输瓶颈。它覆盖了集合通信(如 AllReduce、AllGather)、★ 1,586
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo(gfx1151)平台的本地大模型推理部署脚本,目标是让用户以最快速度在搭载该★ 1,353
gufogufo 是面向 AMD Strix Halo(gfx1151)平台的开源 AI 推理引擎,用 C++ 编写,专为 Ryzen AI 系列 APU 的统一内存架★ 1,183
bc250bc250 是一份面向 AMD BC-250(PS5 同款 APU 主板)的开源配置指南与脚本集合,目标是把这块廉价硬件变成可用的本地 AI 推理平台。它解决的★ 431
strix-halo-guidestrix-halo-guide 是一份针对 AMD Strix Halo(GFX1151,如 Radeon 8060S)平台本地 AI 部署的实测指南与基准测★ 373
qwenimage-ncnn-vulkan这是一个把通义千问图像模型 Qwen-Image-2.1 移植到 ncnn 推理框架的开源项目,用 C++ 编写并基于 Vulkan 做 GPU 加速。它解决的★ 359
FluidFramesFluidFrames 是一个基于深度学习的视频补帧应用,通过帧插值技术把低帧率视频提升到高帧率,让画面更流畅。它支持 NVIDIA、AMD、Intel 显卡以★ 280
HyperloomHyperloom 是一个面向 AMD GPU 的智能体系统,用于自动优化大语言模型推理负载。它针对 AMD 硬件生态中算子库与调优工具相对分散、手工调参成本高★ 272
onnx-webonnx-web 是一个基于 Web 的图形界面,用于运行 GPU 加速的 ONNX 推理管线,特别针对 Stable Diffusion 等图像生成模型。它解★ 232
vllm-mxfp4vllm-mxfp4 是针对 AMD R9700 显卡优化的 vLLM 定制构建,目标是在该硬件上获得尽可能高的推理吞吐。项目在官方 vLLM 基础上引入 MX★ 194
stable-diffusion-rocm-docker这是一个为AMD Radeon显卡预配置的Stable Diffusion Docker镜像项目。它解决了在AMD GPU上运行Stable Diffusion★ 145
vllm-sly-radiancevllm-sly-radiance 是一个面向 AMD Radeon AI PRO R9700 显卡的 vLLM 性能优化实验项目,目标是在 ROCm 软件栈上★ 112
ROCm-RX6600XT这是一个面向AMD Radeon RX 6600 XT显卡的ROCm安装指南,旨在帮助用户在Linux系统上配置AMD GPU的深度学习环境,支持TensorF★ 85
gpu-telemetrygpu-telemetry 是一个面向 GPU 可观测性的开源项目,核心解决 GPU 资源在 Kubernetes 或 Slurm 集群中“被谁使用”的问题。它★ 78