gufo

让 Strix Halo 小主机本地跑大模型，单机多用户都够快

开源 unknown 基础设施
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 798
维护状态 活跃
是否开源 是
定价模式 unknown

项目预览

项目数据

分类基础设施
开发团队gufo-org
所属国家
官网地址https://gufo.blog
GitHubhttps://github.com/gufo-org/gufo
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议MIT
主要语言C++
技术栈/模型amd,gfx1151,llm,ryzen-ai,strix-halo
GitHub 星标★ 798
30天Star增速
HF 下载量
上线时间2026-08-11 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-19
浏览次数0

项目介绍

gufo 是面向 AMD Strix Halo（gfx1151）平台的开源 AI 推理引擎，用 C++ 编写，专为 Ryzen AI 系列 APU 的统一内存架构优化。它解决的是通用推理框架在 Strix Halo 上无法充分释放性能的问题：通过针对 gfx1151 的算子与内存调度优化，让本地大模型在消费级硬件上跑出可用速度。核心能力包括高吞吐的预填充（pp）与解码（tg）性能，实测 Qwen 3.8 Flash Next Q4_K_XL 单用户达 1787.54 pp、73.17 tg，8 用户并发 194.37 tok/s；Qwen 3.8 27B Q4_K_XL 配合 DFlash2 达 656.33 pp、70.56 tg。项目聚焦量化模型（Q4_K_XL）推理，适合在迷你主机、笔记本等 Strix Halo 设备上部署本地 LLM 服务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

核心亮点

  • 针对 gfx1151 做专用优化，Qwen 27B Q4 单用户解码达 70+ tok/s，同硬件下明显优于通用框架
  • 8 用户并发仍有 194 tok/s 总吞吐，多用户本地服务场景有实测数据支撑
  • 纯 C++ 实现，依赖轻，便于在 Strix Halo 迷你主机和笔记本上直接部署

不足之处

  • 硬件绑定强，仅面向 AMD Strix Halo/gfx1151，其他 GPU 或 CPU 平台无法使用
  • 早期项目，模型格式与量化方案支持范围有限，生态和文档成熟度待观察

适用场景

  • 在 Ryzen AI Strix Halo 迷你主机上搭建本地 LLM 推理服务，供家庭或小团队多人使用
  • 开发者本地跑 Qwen 27B 量化模型做代码补全、文档问答等日常助手
  • 边缘/离线环境部署私有 AI 推理，避免数据上云

替代项目

llama.cpp、vLLM

上一篇：project-maya

下一篇：没有了！

同类项目推荐

freebuff-proxy 开源

聚合多账号，一键接入 OpenAI 兼容 API，轻松管理会话。

DEPRECATED — moved to https://github.com/trefeon/freelane. Archived; no longer main···

★ 300 2026-08-20
microduck 开源

用 Rust 造一只会走路的桌面小鸭，快速上手双足机器人。

A Tiny biped duck robot

★ 9533 2026-09-10
ollama 开源

一条命令本地跑起大模型，免费、私密、不卡顿

Get up and running with Kimi, GLM, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other···

★ 183689 2026-08-09
soperator 开源

用 Kubernetes 原生方式运行 Slurm，简化 HPC 集群管理。

Run Slurm in Kubernetes

★ 449 2026-08-10