whichllm

环境要求

• 支持 uv / uvx 运行器（推荐，免安装直接运行）
• 或 Python + pip 环境（用于 pip install whichllm）
• macOS 用户可选 Homebrew（brew install）
• 需要联网访问 HuggingFace 以拉取模型榜单与权重

安装与启动步骤

1. 1免安装直接运行

   无需项目配置，uvx 会临时拉取最新版 whichllm 并自动检测你的 GPU/CPU/内存，输出推荐模型表格。

   uvx whichllm@latest

   复制

2. 2安装为常驻工具

   经常使用时把 whichllm 装成常驻命令，之后可直接用 whichllm 调用；也可用 pip 或 brew 安装。

   uv tool install whichllm
   uv tool upgrade whichllm

   复制

3. 3模拟指定显卡

   还没买卡时可指定型号模拟，先看该硬件适合跑哪些模型，结果基于实时 HuggingFace 数据。

   uvx whichllm@latest --gpu "RTX 4090"

   复制

4. 4更保守的推荐

   只想选能完整装进显存、速度可用的模型时加这些过滤条件，并预留 1GB 显存给运行时开销。

   uvx whichllm@latest --gpu-only --speed usable --vram-headroom 1GB

   复制

5. 5一键下载并对话

   whichllm 通过 uv 创建隔离环境、装依赖、下载模型并启动交互式聊天，无需手动安装。

   whichllm run "qwen 2.5 1.5b gguf"

   复制

6. 6生成调用代码片段

   打印可直接运行的 Python 代码，也可用 --quant 指定量化版本，例如 Q5_K_M。

   whichllm snippet "llama 3 8b gguf" --quant Q5_K_M

   复制

7. 7输出 Markdown 结果

   用 -m 输出 Markdown，方便贴到 GitHub issue、README、Slack 或博客；可配合 --top 与 --gpu。

   whichllm -m --top 5 --gpu "RTX 4090"

   复制

关键配置

如何确认成功

终端打印出按 score 排序的模型表格，含显存需求、估算生成速度（t/s）、fit 类型和发布日期即成功。

常见问题

注意事项

• 默认推荐包含 full-GPU、部分卸载和纯 CPU 三类候选，仅当它们可用时才会出现。
• 速度颜色分级：低于 4 tok/s 红、4-10 黄、10-30 绿、30+ 亮绿，可据此判断是否实用。
• JSON 输出包含 fit_type、vram_required_bytes、estimated_tok_per_sec 等字段，便于自行二次处理。
• whichllm run 会通过 uv 自动创建隔离环境并下载模型，首次运行耗时取决于模型体积与网速。