llmfit

一条命令，测出你的硬件能跑哪些 AI 模型

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署开源模型 🍴 复刻 2506 🐛 待处理 61 👀 关注 114

GitHub ↗

GitHub 星标 ★ 38822

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源项目，MIT许可证，完全免费，可自行部署使用。

项目预览

项目数据

分类开源模型

开发团队AlexsJones

GitHubhttps://github.com/AlexsJones/llmfit

定价模式🏷️完全免费

价格说明开源项目，MIT许可证，完全免费，可自行部署使用。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议MIT

主要语言Rust

技术栈/模型gguf,llm,localai,mlx,skill,unsloth

GitHub 星标★ 38822

上线时间2026-02-15 00:00:00

代码更新2026-11-09

仓库体积33.3 MB

本站数据更新2026-11-09

维护状态活跃

收录时间2026-08-09

浏览次数4

项目介绍

llmfit 是一个用 Rust 编写的命令行工具，旨在帮助用户快速评估和选择能在自己硬件上运行的 AI 模型。它聚合了数百个模型和多个提供商，用户只需一条命令，即可自动检测本地硬件（如 GPU、CPU、内存）的兼容性，并给出模型推理速度和资源占用的预估。核心能力包括：硬件检测与基准测试、模型筛选与推荐、多提供商支持（如 Ollama、Hugging Face 等）、以及清晰的命令行交互界面。它解决了 AI 爱好者和开发者在本地部署模型时面临的“不知道哪个模型能跑、跑多快”的痛点，将原本需要手动查阅文档和反复试错的过程，简化为一条命令的即时反馈。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 38822

技术标签

gguf llm localai mlx skill

使用教程

难度：入门约 10 分钟部署方式：命令行工具 8 步

环境要求

Linux 或 macOS 等可运行 sh 的终端环境（含 curl）
安装到 /usr/local/bin 需要 sudo 权限，否则需用 --local 模式
可选：Docker 环境，用于容器化部署 Web UI / API 服务

安装与启动步骤

1一键安装 llmfit

官方安装脚本会从 GitHub 下载最新 release 二进制并安装到 /usr/local/bin；无 sudo 时会装到 ~/.local/bin。
```
curl -fsSL https://llmfit.axjns.dev/install.sh | sh
```
2无 sudo 本地安装

没有 sudo 权限或不想写入系统目录时，追加 --local 参数，把二进制安装到 ~/.local/bin。
```
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local
```
3检测本机硬件

运行 doctor 输出 CPU、内存、GPU 等硬件检测报告，可确认工具安装成功，也方便提交 bug 时附上。
```
llmfit doctor
```
4查看适配模型表

以表格形式列出所有模型，并按与你硬件的适配程度排序，快速看清哪些模型能跑。
```
llmfit fit
```
5获取推荐结果

输出最值得选择的模型列表，--json 格式便于脚本或 Agent 直接消费解析。
```
llmfit recommend --json
```
6查看单个模型详情

把 <model> 换成具体模型名，查看该模型的适配分析、预估依据以及验证命令。
```
llmfit info "<model>"
```
7实测推理性能

针对本机正在运行的模型服务，实测真实的 tok/s 与 TTFT 指标，判断实际体验。
```
llmfit bench
```
8Docker 部署 Web 服务

使用官方多架构镜像启动 serve 模式，暴露 8787 端口，提供 Web UI 与 API。
```
docker run -d --name llmfit -p 8787:8787 ghcr.io/alexsjones/llmfit:latest serve --host 0.0.0.0 --port 8787
```

关键配置

配置项	必填	说明	示例
`image`	是	官方多架构 Docker 镜像地址，支持 CLI/TUI 与 Web/API 模式	`ghcr.io/alexsjones/llmfit:latest`
`command`	是	容器启动命令，serve 模式启动 API 与 Web 界面并指定监听地址端口	`["serve", "--host", "0.0.0.0",`
`ports`	是	端口映射，把容器内 8787 端口暴露到宿主机以便浏览器访问	`8787:8787`
`restart`	否	容器重启策略，异常退出后自动拉起服务	`unless-stopped`
`healthcheck.test`	否	健康检查命令，通过 /health 接口判断服务是否正常	`["CMD", "curl", "-f", "ht`