llm-as-a-verifier

给任意 agent 加个 LLM 裁判，不训练也能细粒度打分

开源 🏷️定价信息待确认 ✅ 目前可打开评测安全 🍴 复刻 280 🐛 待处理 26 👀 关注 6

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3344

维护状态较活跃

是否开源开源

定价模式 🏷️定价信息待确认

项目预览

llm-as-a-verifier 项目界面预览图 — 图片来源：GitHub 官方仓库名片

项目数据

分类评测安全

开发团队llm-as-a-verifier

官网地址https://llm-as-a-verifier.com/docs

GitHubhttps://github.com/llm-as-a-verifier/llm-as-a-verifier

定价模式🏷️定价信息待确认

价格说明定价信息待确认

访问状态✅ 目前可打开

是否开源是

开源协议MIT

主要语言Python

GitHub 星标★ 3344

上线时间2026-04-09 00:00:00

代码更新2026-10-08

仓库体积82.3 MB

本站数据更新2026-11-04

维护状态较活跃

收录时间2026-09-16

浏览次数1

项目介绍

llm-as-a-verifier 是一个通用型验证框架，用大语言模型充当智能体行为的裁判，无需额外训练即可对任意 agent 的输出给出细粒度反馈。它解决的核心问题是：在编码、机器人、医疗等智能体任务中，仅靠最终结果或粗粒度奖励难以判断中间步骤好坏，导致强化学习与自我改进效率低。该框架把验证过程拆解为可复用的打分维度，让 LLM 对每一步动作、代码片段或决策进行逐项评估，输出连续或分档的细粒度信号，可直接用于重排序、筛选、奖励塑形或迭代优化。项目在 coding、robotics、medical 等 agentic benchmark 上达到 SOTA，说明其验证信号与真实任务表现高度相关。由于不依赖训练，接入成本低，适合快速给已有 agent 加装“质检层”，也适合作为研究验证器泛化能力的基线工具。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-16 · 当前星标 ★ 3344

使用教程

ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。

难度：入门约 10 分钟部署方式：库/依赖 4 步

环境要求

Python 环境与可用的 pip（README 未指定最低版本）
可访问 PyPI 的网络（源码安装则需可访问 GitHub）
如需从源码安装，需要 git

安装与启动步骤

1安装 verifier 包

README 给出的标准安装方式，直接通过 PyPI 安装 llm-verifier，无需手动下载源码。
```
pip install llm-verifier
```
2从源码安装最新版

想用仓库最新代码时，先克隆仓库再以可编辑模式安装，注意要在仓库根目录执行第二条命令。
```
git clone https://github.com/llm-as-a-verifier/llm-as-a-verifier.git
cd llm-as-a-verifier
pip install -e .
```
3确认安装成功

导入 llm_verifier 模块验证包已正确安装；若报 ModuleNotFoundError，说明安装环境与当前解释器不一致。
```
python -c "import llm_verifier"
```
4查看文档与更新说明

README 指向官方文档站点与 CHANGELOG，0.2.0 新增前缀缓存优化、自验证基准等，建议先读文档再接入。