rocm
本站收录 22 个带「rocm」标签的 AI 开源项目
LMCacheLMCache 是一个专为大型语言模型(LLM)推理场景设计的 KV 缓存加速层,旨在解决长上下文和多轮对话场景下推理速度慢、显存占用高的问题。它通过智能管理 ★ 12,367
lemonadeLemonade 是一个面向本地 AI 应用的开源推理引擎,旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私★ 6,215
gpustackgpustack 是一个面向高性能 AI 模型服务的 GPU 集群管理器,专注于简化 vLLM、SGLang 等推理引擎的部署与运维。它解决了 GPU 资源利用★ 6,046
WhisperLiveWhisperLive 是一个基于 OpenAI Whisper 的近乎实时语音转写工具,旨在解决传统 Whisper 离线处理延迟高、无法用于直播或对话场景的★ 4,359
luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器,用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是:在非数据中★ 3,007
project-mayaProject Maya 是一个面向 GLM-5.3-Flash(321B 参数 MoE 架构)大模型的私有化推理引擎,目标是让用户在自己的 GPU 上本地运行★ 2,926
InferenceXInferenceX 是一个开源的持续推理基准研究平台,专注在大规模 LLM 推理场景下做可复现、可持续的性能评测。它把当下主流大模型(如 Kimi、MiniM★ 2,039
sonarsonar 是一个面向大规模 LLM 推理场景的高性能引擎,用 C++ 编写,旨在解决大模型部署时的高延迟、低吞吐和硬件适配问题。它支持多种硬件后端,包括 NV★ 1,913
Chatterbox-TTS-ServerChatterbox-TTS-Server 是一个自托管的文本转语音(TTS)服务,基于强大的 Chatterbox 模型。它解决了用户需要灵活、可扩展的语音合★ 1,502
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo(gfx1151)平台的本地大模型推理部署脚本,目标是让用户以最快速度在搭载该★ 1,353
GPTQModelGPTQModel 是一个面向大语言模型的量化压缩工具包,核心目标是把 FP16/BF16 模型压缩到 4bit、3bit 等低精度格式,从而显著降低显存占用和★ 1,290
yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架,目标是让 Go 开发者无需依赖 CGO 或外部服务,就能在应用中嵌入大语言模型和多模★ 675
strix-halo-guidestrix-halo-guide 是一份针对 AMD Strix Halo(GFX1151,如 Radeon 8060S)平台本地 AI 部署的实测指南与基准测★ 373
HyperloomHyperloom 是一个面向 AMD GPU 的智能体系统,用于自动优化大语言模型推理负载。它针对 AMD 硬件生态中算子库与调优工具相对分散、手工调参成本高★ 272
MIVisionXMIVisionX 是 AMD 推出的开源计算机视觉工具包,核心是符合 Khronos OpenVX 1.3.2 规范的高度优化实现。它主要解决在 AMD 硬件★ 218
AMD-LLMAMD-LLM 是 AMD 推出的面向其 GPU 的 135M 参数语言模型训练代码与资源库。该项目旨在解决 AMD GPU 上训练大语言模型时软件栈不成熟、生★ 195
automatic1111-webui-nix这是一个为 NixOS 用户提供的 stable-diffusion-webui 的 Nix 打包方案。它解决了在 NixOS 上安装和运行 AUTOMATIC★ 175
stable-diffusion-rocm-docker这是一个为AMD Radeon显卡预配置的Stable Diffusion Docker镜像项目。它解决了在AMD GPU上运行Stable Diffusion★ 145
vllm-sly-radiancevllm-sly-radiance 是一个面向 AMD Radeon AI PRO R9700 显卡的 vLLM 性能优化实验项目,目标是在 ROCm 软件栈上★ 112
kernel-skillskernel-skills 是一个面向 AI 编程代理的开源技能库,专注于高性能计算内核的编写、优化与调试,覆盖 CUDA、Triton 以及量化负载场景。它解★ 90
ROCm-RX6600XT这是一个面向AMD Radeon RX 6600 XT显卡的ROCm安装指南,旨在帮助用户在Linux系统上配置AMD GPU的深度学习环境,支持TensorF★ 85