llm-as-a-verifier

给任意 agent 加个 LLM 裁判，不训练也能细粒度打分

llm-as-a-verifier 是一个通用型验证框架，用大语言模型充当智能体行为的裁判，无需额外训练即可对任意 agent 的输出给出细粒度反馈。它解决的核心问题是：在编码、机器人、医疗等智能体任务中，仅靠最终结果或粗粒度奖励难以判断中间步骤好坏，导致强化学习与自我改进效率低。该框架把验证过程拆解为可复用的打分维度，让 LLM 对每一步动作、代码片段或决策进行逐项评估，输出连续或分档的细粒度信号，可直接用于重排序、筛选、奖励塑形或迭代优化。项目在 coding、robotics、medical 等 agentic benchmark 上达到 SOTA，说明其验证信号与真实任务表现高度相关。由于不依赖训练，接入成本低，适合快速给已有 agent 加装“质检层”，也适合作为研究验证器泛化能力的基线工具。

开源 unknown 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 3241

维护状态较活跃

是否开源是

定价模式 unknown

项目数据

分类评测安全

开发团队llm-as-a-verifier

所属国家

官网地址https://llm-as-a-verifier.com/docs

GitHubhttps://github.com/llm-as-a-verifier/llm-as-a-verifier

定价模式unknown

价格说明定价信息待确认

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型

GitHub 星标★ 3241

30天Star增速

HF 下载量

上线时间2026-04-09 00:00:00

最近更新2026-09-18 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-09-16

浏览次数0

使用教程

难度：入门约 10 分钟部署方式：库/依赖 4 步

环境要求

Python 环境与可用的 pip（README 未指定最低版本）
可访问 PyPI 的网络（源码安装则需可访问 GitHub）
如需从源码安装，需要 git

安装与启动步骤

1安装 verifier 包

README 给出的标准安装方式，直接通过 PyPI 安装 llm-verifier，无需手动下载源码。
```
pip install llm-verifier
```
2从源码安装最新版

想用仓库最新代码时，先克隆仓库再以可编辑模式安装，注意要在仓库根目录执行第二条命令。
```
git clone https://github.com/llm-as-a-verifier/llm-as-a-verifier.git
cd llm-as-a-verifier
pip install -e .
```
3确认安装成功

导入 llm_verifier 模块验证包已正确安装；若报 ModuleNotFoundError，说明安装环境与当前解释器不一致。
```
python -c "import llm_verifier"
```
4查看文档与更新说明

README 指向官方文档站点与 CHANGELOG，0.2.0 新增前缀缓存优化、自验证基准等，建议先读文档再接入。

如何确认成功

执行 python -c "import llm_verifier" 无报错，即表示包已安装成功。

常见问题

Q：pip 安装后导入报 ModuleNotFoundError？

A：多因 pip 与当前 Python 解释器不是同一环境，可改用 python -m pip install llm-verifier 重装，或检查虚拟环境是否已激活。

Q：如何安装仓库里的最新开发版？

A：克隆仓库后进入根目录执行 pip install -e .，即可安装当前源码版本并支持改动即时生效。

Q：怎么统计调用的 token 消耗？

A：0.2.0 起提供 llm_verifier.token_usage() 接口，可在代码中调用它查看 token 用量。

Q：0.2.0 有什么主要变化？

A：新增前缀缓存优化（轨迹类基准未缓存输入 token 减少约 3.4×）、Terminal-Bench 2.1 自验证基准、deepseek-v4-flash 验证后端。

注意事项

README 节选未给出完整 Quickstart 代码，实际调用方式请查阅官方文档 https://llm-as-a-verifier.com/docs/
README 未列出任何配置项或 API Key 参数，请以官方文档说明为准，不要凭猜测填写
最新版本变化见仓库 CHANGELOG.md，升级前建议先阅读

核心亮点

无需训练即可接入，直接对现有 agent 输出做细粒度验证
在编码、机器人、医疗等 agentic benchmark 上达到 SOTA，验证信号与任务表现强相关
通用框架设计，验证维度可复用，支持重排序、奖励塑形等多种下游用法

不足之处

依赖 LLM 调用，验证成本与延迟随任务规模线性增长
验证质量受底层模型能力影响，弱模型下细粒度信号可能不稳定

适用场景

为强化学习智能体提供细粒度奖励信号，替代稀疏结果奖励
在代码生成中逐项检查候选方案，用于重排序或筛选最优解
医疗、机器人等高风险 agent 上线前做步骤级安全与正确性审查

替代项目

OpenAI Evals、LangSmith

项目介绍

llm-as-a-verifier 是一个评测安全领域的开源项目，官方简介：LLM-as-a-Verifier is a general-purpose framework that provides fine-grained feedback for any agent without requiring additional training. It achieves SOTA performance across coding, robotics, and medical agentic benchmarks.。项目使用 Python 开发，在 GitHub 上获得 3234 星标。

上一篇：ps-fuzz

下一篇：Awesome-LLM-Compression