decider

环境要求

• Python 环境与 pip（通过 pip 安装 decider-ai，导入名为 decider）
• 硬件可选：CUDA GPU（2B 约 4 GB bf16）、Apple Silicon MPS、或纯 CPU float32（1.7.1 起支持）
• 首次调用 Decider 需联网，自动下载 Mapika/decider-2b 等权重
• 若要使用 GGUF 加载，需额外安装 llama-cpp-python（CPU/CUDA/Metal 构建）

安装与启动步骤

1. 1安装 decider-ai

   用 pip 安装官方包，包名是 decider-ai，代码里的导入名是 decider，不要弄混。

   pip install decider-ai

   复制

2. 2从源码安装(含服务)

   需要 HTTP 服务或改源码时，克隆仓库后以可编辑模式安装 serve 附加依赖。二选一即可。

   git clone https://github.com/Mapika/decider && pip install -e ".[serve]"

   复制

3. 3Apple Silicon 加速

   Mac 上可选安装 MLX/Metal 内核；不装也能跑，此时 MPS 走 PyTorch 实现。

   pip install "decider-ai[metal]"

   复制

4. 4跑第一次决策

   初始化 Decider 并传入问题与选项。首次运行会下载权重，设备按 CUDA→MPS→CPU 自动回落。

   python - <<'PY'
   from decider.infer import Decider
   d = Decider("Mapika/decider-2b")
   print(d.decide("My card was charged twice.", [{"question": "Which team?", "options": ["billing", "technical", "sales"]}]))
   PY

   复制

5. 5运行单元测试验证

   无 GPU 也能跑，用仓库自带测试确认安装无误；需在克隆的项目目录下执行。

   python -m pytest tests

   复制

关键配置

如何确认成功

运行上面的 Python 示例，能打印出含 choice、confidence、probs 的结果字典即安装成功；或 pytest 全部通过。

常见问题

注意事项

• decider 不生成自由文本：每次前向推理直接输出带类型（Choice/Score/Noul）的选项内概率分布，无需解码和后处理解析。
• 首次调用 Decider 会下载权重，请预留网络与磁盘空间。
• GGUF 仅支持 4B 和 2B（decider-ai 1.6.0 起），且需要 llama-cpp-python 对应构建。