hipfire

Rust 写的 AMD 显卡专用大模型推理引擎

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 基础设施 🍴 复刻 109 🐛 待处理 111 👀 关注 5
GitHub ↗
GitHub 星标 ★ 821
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,需自行部署

项目预览

hipfire 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类基础设施
开发团队warpfront
定价模式🏷️完全免费
价格说明开源免费,需自行部署
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议NOASSERTION
主要语言Rust
技术栈/模型amd-gpu,gpu-computing,hip,llm-inference,machine-learning,quantization,rdna,rocm,rust
GitHub 星标★ 821
上线时间2026-03-21 00:00:00
代码更新2026-11-20
仓库体积1.28 GB
本站数据更新2026-11-21
维护状态活跃
收录时间2026-11-21
浏览次数0

项目介绍

hipfire 是一个用 Rust 编写的、面向 AMD RDNA 架构 GPU 的原生大语言模型推理引擎。它解决的核心问题是:主流 LLM 推理框架大多优先适配 NVIDIA CUDA 生态,AMD 显卡用户往往只能依赖通用后端,难以充分发挥 RDNA 架构的硬件特性。hipfire 直接基于 HIP/ROCm 生态构建,针对 RDNA 的指令集与显存层次做专门优化,并提供量化支持以降低显存占用。项目以 Rust 实现,强调内存安全与低运行时开销,适合希望在 AMD 消费级或工作站显卡上本地部署模型的开发者。当前星标约 821,属于早期项目,接口与功能仍在快速演进中。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 821

核心亮点

  • 直接面向 RDNA 架构与 HIP 生态,而非套用通用后端,能更贴近 AMD 硬件特性做优化
  • Rust 实现,内存安全边界清晰,运行时开销相对可控
  • 内置量化支持,便于在有限显存下运行更大参数量的模型

不足之处

  • 早期项目,API 与功能可能频繁变动,生产环境稳定性待验证
  • 仅覆盖 AMD RDNA 平台,生态与算子覆盖广度不及成熟通用推理框架

适用场景

  • 在 AMD RDNA 显卡上本地部署并运行开源大语言模型
  • 研究 AMD GPU 上 LLM 推理性能与量化策略
  • 为 Rust 技术栈的应用嵌入本地模型推理能力

替代项目

llama.cpp、vLLM、Mlc-llm

上一篇:catwalk

下一篇:onprem

同类项目推荐

db2rest 开源

连上数据库,秒出 REST API,直接给 AI 当工具调用

Instant no code DATA API platform for relational databases. Connect any database, ru···

★ 474 2026-11-16
anemll-flash-llama.cpp 开源

让 Mac 统一内存也能跑动超大 MoE 模型

Flash-MoE sidecar slot-bank runtime for large GGUF MoE models on Apple Silicon — ll···

★ 135 2026-10-16
Star-Attention 开源

长序列推理提速,让大模型轻松处理超长文本。

Efficient LLM Inference over Long Sequences

★ 392 2026-08-09
feature-store 开源

打通数据与模型,让特征复用不再重复造轮子

Using a feature store to connect the DataOps and MLOps workflows to enable collabora···

★ 62 2026-08-09
InfiniTensor 开源

让大模型在多种 GPU 上快速跑起来并方便做实验

InfiniTensor is a high-performance inference engine tailored for GPUs and AI acceler···

★ 590 2026-10-08
myapi 开源

一个终端,搞定网站、后端和支付,快速落地真实业务。

The unified API for autonomous companies. Ship a real business — website, backend, ···

★ 83 2026-08-09
openai 开源

在 .NET 项目里一键调用 ChatGPT、DALL-E、Whisper 等 AI 能力

.NET library for the OpenAI service API by Betalgo Ranul

★ 3022 2026-08-09
videodb-python 开源

几行 Python 把视频变成可搜索、可剪辑的数据库

VideoDB Python SDK

★ 118 2026-10-15