FastFlowLM

Q: 所在地区无法访问 HuggingFace 怎么办？

可手动下载模型文件，再放入你选定的模型目录（Windows 默认 C:/Users/ /.flm/models/，Linux 默认 ~/.config/flm/），具体见项目 issue #2。

在 AMD NPU 上像用 Ollama 一样快速跑大模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 176 🐛 待处理 225 👀 关注 28

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 2030

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队ROCm

官网地址http://fastflowlm.com

GitHubhttps://github.com/ROCm/FastFlowLM

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议NOASSERTION

主要语言C++

技术栈/模型amd,deepseek,llama,llm,npu

GitHub 星标★ 2030

上线时间2025-06-16 00:00:00

代码更新2026-11-08

仓库体积867.6 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数7

项目介绍

FastFlowLM 是一个专为 AMD Ryzen AI NPU 深度优化的开源推理引擎，目标是在 AMD 平台上实现大语言模型的高效本地运行。它借鉴了 Ollama 的易用性，但针对 AMD NPU 的硬件特性进行了底层重构和优化，解决了通用推理框架在 NPU 上性能不佳或无法利用的问题。核心能力包括：提供简洁的命令行接口，支持主流开源模型（如 Llama、Phi 等）的量化与部署，自动调度 NPU 资源，实现低延迟、低功耗的本地推理。项目处于快速成长阶段，为 AMD 用户提供了一种新的、接近 Ollama 体验的本地 AI 运行方式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2030

技术标签

amd deepseek llama llm

使用教程

难度：入门约 10 分钟部署方式：本地安装 7 步

环境要求

搭载 XDNA2 NPU 的 AMD Ryzen AI 芯片（Strix、Strix Halo、Kraken、Gorgon Point）
AMD NPU 驱动版本 32.0.203.311 或更高（旧版本已不支持）
Windows 系统（官方提供 flm-setup.msi 安装包）；Linux 参考官方 Linux Getting Started 指南
安装与首次运行需要能访问 HuggingFace 下载模型

安装与启动步骤

1检查 NPU 与驱动

打开任务管理器（Ctrl+Shift+Esc）→性能→NPU，或设备管理器查看 NPU 驱动版本，必须为 32.0.203.311 或更高，否则先更新驱动。
2下载安装包

从 GitHub Releases 下载官方 Windows 安装包 flm-setup.msi，安装包仅约 17MB，安装约 20 秒。
3安装 FLM

双击运行 flm-setup.msi 完成安装，安装过程中可自定义基础目录；若选 C:\Users\<USER>\flm，模型会存到该目录下的 models 子目录。
4打开 PowerShell

按 Win + X 再按 I 打开 PowerShell，安装后 flm 命令即可使用，无需其他配置。
5运行第一个模型

用 flm run 拉取并运行指定模型标签，首次会自动从 HuggingFace 下载优化后的模型内核，随后进入命令行对话。
```
flm run llama3.2:1b
```
6查看已有模型

在 PowerShell 中列出本机已下载的全部可用模型及其标签，便于后续直接运行。
```
flm list
```
7启动本地服务

以服务模式启动，模型标签为初始模型且可选；本地服务默认监听 52625 端口，请求其他模型时会自动切换。
```
flm serve llama3.2:1b
```

关键配置

配置项	必填	说明	示例
`FLM_MODEL_PATH`	否	Linux 下覆盖模型默认存放路径	`/home/user/.flm/models`
`FLM_DISABLE_UPDATE_CHECK`	否	设为 1 可关闭启动时的版本检查	`1`
`模型默认目录(Windows)`	否	Windows 下模型默认存放位置	`C:\Users\<USER>\.flm\models\`
`模型默认目录(Linux)`	否	Linux 下模型默认存放位置	`~/.config/flm/`