llmfit

一条命令，测出你的硬件能跑哪些 AI 模型

llmfit 是一个用 Rust 编写的命令行工具，旨在帮助用户快速评估和选择能在自己硬件上运行的 AI 模型。它聚合了数百个模型和多个提供商，用户只需一条命令，即可自动检测本地硬件（如 GPU、CPU、内存）的兼容性，并给出模型推理速度和资源占用的预估。核心能力包括：硬件检测与基准测试、模型筛选与推荐、多提供商支持（如 Ollama、Hugging Face 等）、以及清晰的命令行交互界面。它解决了 AI 爱好者和开发者在本地部署模型时面临的“不知道哪个模型能跑、跑多快”的痛点，将原本需要手动查阅文档和反复试错的过程，简化为一条命令的即时反馈。

开源 free 开源模型

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 37010

维护状态活跃

是否开源是

定价模式 free

项目数据

分类开源模型

开发团队AlexsJones

所属国家

官网地址

GitHubhttps://github.com/AlexsJones/llmfit

定价模式free

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态

是否开源是

开源协议MIT

主要语言Rust

技术栈/模型gguf,llm,localai,mlx,skill,unsloth

GitHub 星标★ 37010

30天Star增速

HF 下载量

上线时间2026-02-15 00:00:00

最近更新2026-09-22 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：入门约 10 分钟部署方式：命令行工具 8 步

环境要求

Linux 或 macOS 等可运行 sh 的终端环境（含 curl）
安装到 /usr/local/bin 需要 sudo 权限，否则需用 --local 模式
可选：Docker 环境，用于容器化部署 Web UI / API 服务

安装与启动步骤

1一键安装 llmfit

官方安装脚本会从 GitHub 下载最新 release 二进制并安装到 /usr/local/bin；无 sudo 时会装到 ~/.local/bin。
```
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
```
2无 sudo 本地安装

没有 sudo 权限或不想写入系统目录时，追加 --local 参数，把二进制安装到 ~/.local/bin。
```
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local
```
3检测本机硬件

运行 doctor 输出 CPU、内存、GPU 等硬件检测报告，可确认工具安装成功，也方便提交 bug 时附上。
```
llmfit doctor
```
4查看适配模型表

以表格形式列出所有模型，并按与你硬件的适配程度排序，快速看清哪些模型能跑。
```
llmfit fit
```
5获取推荐结果

输出最值得选择的模型列表，--json 格式便于脚本或 Agent 直接消费解析。
```
llmfit recommend --json
```
6查看单个模型详情

把换成具体模型名，查看该模型的适配分析、预估依据以及验证命令。
```
llmfit info ""
```
7实测推理性能

针对本机正在运行的模型服务，实测真实的 tok/s 与 TTFT 指标，判断实际体验。
```
llmfit bench
```
8Docker 部署 Web 服务

使用官方多架构镜像启动 serve 模式，暴露 8787 端口，提供 Web UI 与 API。
```
docker run -d --name llmfit -p 8787:8787 ghcr.io/alexsjones/llmfit:latest serve --host 0.0.0.0 --port 8787
```

关键配置

配置项	必填	说明	示例
`image`	是	官方多架构 Docker 镜像地址，支持 CLI/TUI 与 Web/API 模式	`ghcr.io/alexsjones/llmfit:latest`
`command`	是	容器启动命令，serve 模式启动 API 与 Web 界面并指定监听地址端口	`["serve", "--host", "0.0.0.0",`
`ports`	是	端口映射，把容器内 8787 端口暴露到宿主机以便浏览器访问	`8787:8787`
`restart`	否	容器重启策略，异常退出后自动拉起服务	`unless-stopped`
`healthcheck.test`	否	健康检查命令，通过 /health 接口判断服务是否正常	`["CMD", "curl", "-f", "ht`

如何确认成功

本地模式执行 llmfit doctor 能正常输出 CPU/GPU/内存硬件检测报告；容器模式访问 http://localhost:8787/health 返回健康响应。

常见问题

Q：没有 sudo 权限，安装失败怎么办？

A：改用官方提供的本地安装方式：curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local，二进制会装到 ~/.local/bin，注意该目录需在 PATH 中。

Q：怎么把结果交给脚本或 Agent 使用？

A：使用 llmfit recommend --json，输出 JSON 格式的推荐模型列表，便于程序直接解析消费。

Q：如何用浏览器访问而不是命令行？

A：用 Docker 镜像以 serve 模式启动（默认端口 8787），然后浏览器访问 http://localhost:8787 即可看到 Web 界面。

Q：提交 bug 时需要提供什么信息？

A：先运行 llmfit doctor，把输出的硬件检测报告一并附在 issue 里，方便定位是硬件兼容还是程序问题。

注意事项

安装脚本从 GitHub 下载最新 release 二进制，网络受限时可能失败，需自行配置代理或镜像。
serve 模式默认监听 0.0.0.0:8787，若部署在公网服务器请自行加上鉴权或防火墙限制。
README 仅给出 Linux/macOS 的 sh 安装方式，Windows 用户可考虑使用 Docker 方式运行。
llmfit bench 依赖本机已有正在运行的模型服务（如 Ollama 等提供商），未启动服务时无法实测。

核心亮点

自动检测硬件并匹配模型，省去手动查规格的麻烦
支持数百个模型和主流提供商，覆盖面广
基于 Rust 实现，安装简单、执行速度快

不足之处

模型性能预估可能与实际运行存在偏差
文档/社区待观察

适用场景

本地开发环境快速选型模型
硬件升级前后对比模型运行能力
教育场景演示模型与硬件的关系

替代项目

Ollama、LM Studio、llama.cpp

项目介绍

llmfit 是基础设施领域的开源项目，由 AlexsJones 开发，是 2026 年新上线的项目。

在全站 13,090 个收录项目中，它的 GitHub 星标数（37,010）位列前 1%，在基础设施分类的 1,132 个项目里位列前 2%。

近 41 天，它的 GitHub 星标从 31,371 增加到 37,010，净增 5,639。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-22。MIT许可证，完全免费，可自行部署使用。

它主要面向的使用场景是：本地开发环境快速选型模型。同类可对比的替代方案包括 Ollama、LM Studio、llama.cpp。

上一篇：sglang

下一篇：airllm