rocm
本站收录 17 个带「rocm」标签的 AI 开源项目
LMCacheLMCache 是一个专为大型语言模型（LLM）推理场景设计的 KV 缓存加速层，旨在解决长上下文和多轮对话场景下推理速度慢、显存占用高的问题。它通过智能管理 ★ 11,941
lemonadeLemonade 是一个面向本地 AI 应用的开源推理引擎，旨在让用户直接在自己的 GPU 和 NPU 上运行优化后的大语言模型。它解决了云端 AI 带来的隐私★ 5,797
gpustackgpustack 是一个面向高性能 AI 模型服务的 GPU 集群管理器，专注于简化 vLLM、SGLang 等推理引擎的部署与运维。它解决了 GPU 资源利用★ 5,768
WhisperLiveWhisperLive 是一个基于 OpenAI Whisper 的近乎实时语音转写工具，旨在解决传统 Whisper 离线处理延迟高、无法用于直播或对话场景的★ 4,301
luceboxlucebox 是一个面向异构硬件与消费级 GPU 的 LLM 投机推理服务器，用 C++ 编写并深度依赖 CUDA 与自定义内核。它要解决的问题是：在非数据中★ 2,885
sonarsonar 是一个面向大规模 LLM 推理场景的高性能引擎，用 C++ 编写，旨在解决大模型部署时的高延迟、低吞吐和硬件适配问题。它支持多种硬件后端，包括 NV★ 1,869
InferenceXInferenceX 是一个开源的持续推理基准研究平台，专注在大规模 LLM 推理场景下做可复现、可持续的性能评测。它把当下主流大模型（如 Kimi、MiniM★ 1,792
Chatterbox-TTS-ServerChatterbox-TTS-Server 是一个自托管的文本转语音（TTS）服务，基于强大的 Chatterbox 模型。它解决了用户需要灵活、可扩展的语音合★ 1,460
halogen-flash-serverhalogen-flash-server 是一个面向 AMD Strix Halo（gfx1151）平台的本地大模型推理部署脚本，目标是让用户以最快速度在搭载该★ 729
yzmayzma 是一个用 Go 语言直接封装 llama.cpp 的本地推理框架，目标是让 Go 开发者无需依赖 CGO 或外部服务，就能在应用中嵌入大语言模型和多模★ 642
MIVisionXMIVisionX 是 AMD 推出的开源计算机视觉工具包，核心是符合 Khronos OpenVX 1.3.2 规范的高度优化实现。它主要解决在 AMD 硬件★ 217
AMD-LLMAMD-LLM 是 AMD 推出的面向其 GPU 的 135M 参数语言模型训练代码与资源库。该项目旨在解决 AMD GPU 上训练大语言模型时软件栈不成熟、生★ 195
automatic1111-webui-nix这是一个为 NixOS 用户提供的 stable-diffusion-webui 的 Nix 打包方案。它解决了在 NixOS 上安装和运行 AUTOMATIC★ 176
stable-diffusion-rocm-docker这是一个为AMD Radeon显卡预配置的Stable Diffusion Docker镜像项目。它解决了在AMD GPU上运行Stable Diffusion★ 146
z-image-studioz-image-studio 是一个围绕阿里通义 Z-Image-Turbo 文生图模型打造的多形态工具集，提供命令行、Web 界面和 MCP 服务器三种使用方★ 129
ROCm-RX6600XT这是一个面向AMD Radeon RX 6600 XT显卡的ROCm安装指南，旨在帮助用户在Linux系统上配置AMD GPU的深度学习环境，支持TensorF★ 85
kernel-skillskernel-skills 是一个面向 AI 编程代理的开源技能库，专注于高性能计算内核的编写、优化与调试，覆盖 CUDA、Triton 以及量化负载场景。它解★ 80