
hipfire
Rust 写的 AMD 显卡专用大模型推理引擎
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-11-21 · 当前星标 ★ 821
核心亮点
- 直接面向 RDNA 架构与 HIP 生态,而非套用通用后端,能更贴近 AMD 硬件特性做优化
- Rust 实现,内存安全边界清晰,运行时开销相对可控
- 内置量化支持,便于在有限显存下运行更大参数量的模型
不足之处
- 早期项目,API 与功能可能频繁变动,生产环境稳定性待验证
- 仅覆盖 AMD RDNA 平台,生态与算子覆盖广度不及成熟通用推理框架
适用场景
- 在 AMD RDNA 显卡上本地部署并运行开源大语言模型
- 研究 AMD GPU 上 LLM 推理性能与量化策略
- 为 Rust 技术栈的应用嵌入本地模型推理能力
替代项目
llama.cpp、vLLM、Mlc-llm
同类项目推荐
db2rest
开源
连上数据库,秒出 REST API,直接给 AI 当工具调用
Instant no code DATA API platform for relational databases. Connect any database, ru···
anthropic-on-aws
开源
官方示例带你快速在 AWS 上跑通 Claude 调用
anemll-flash-llama.cpp
开源
让 Mac 统一内存也能跑动超大 MoE 模型
Flash-MoE sidecar slot-bank runtime for large GGUF MoE models on Apple Silicon — ll···
Star-Attention
开源
长序列推理提速,让大模型轻松处理超长文本。
Efficient LLM Inference over Long Sequences
feature-store
开源
打通数据与模型,让特征复用不再重复造轮子
Using a feature store to connect the DataOps and MLOps workflows to enable collabora···
InfiniTensor
开源
让大模型在多种 GPU 上快速跑起来并方便做实验
InfiniTensor is a high-performance inference engine tailored for GPUs and AI acceler···
myapi
开源
一个终端,搞定网站、后端和支付,快速落地真实业务。
The unified API for autonomous companies. Ship a real business — website, backend, ···
openai
开源
在 .NET 项目里一键调用 ChatGPT、DALL-E、Whisper 等 AI 能力
.NET library for the OpenAI service API by Betalgo Ranul
videodb-python
开源
几行 Python 把视频变成可搜索、可剪辑的数据库
VideoDB Python SDK