项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-09-14 · 当前星标 ★ 732
使用教程
环境要求
- Python 3.11
- 模型 API Key
安装与启动步骤
-
1装包
从包管理器装。
pip install inspect-evals -
2固定 Python
它要求 3.11。
uv python pin 3.11 -
3跑一个评测
先跑最小的评测集。
# 用 inspect eval 命令指定任务 -
4看结果
结果会生成日志与分数。
# 打开输出目录看报告
如何确认成功
一个评测任务能跑完并输出分数与样本日志。
注意事项
- 它是评测库，不是训练框架。
- 评测消耗额度，先小样本跑通。
核心亮点
- 由 UK AISI 官方维护，评测任务设计贴合真实安全场景，可信度高
- 与 Inspect AI 深度集成，支持沙箱、工具调用和结构化日志，扩展新评测成本低
- 覆盖数学、代码、智能体、网络安全、偏见等多领域，可横向对比模型表现
不足之处
- 项目仍处早期，部分评测任务和文档尚不完整，API 可能变动
- 依赖 Inspect AI 生态，单独使用或迁移到其他评测框架不够方便
适用场景
- 模型发布前做安全与能力回归测试
- 研究团队对比不同模型在智能体和代码任务上的表现
- 企业搭建内部大模型评测流水线并生成审计报告
替代项目
lm-evaluation-harness、HELM
上一篇：evals
下一篇：evals-skills
同类项目推荐
LLMeBench
开源
一键跑分，快速对比各大语言模型效果
Benchmarking Large Language Models
ko-pii
开源
韩语文本敏感信息检测与脱敏，一条命令搞定
한국어 PII 검출 + 가명화 Python 라이브러리
context-bombs
开源
用现成的攻击字符串，测出你的 AI 系统抗不抗揍。
Context bomb strings
model-leaderboard
开源
目标检测模型谁最强？排行榜按小大物体直接比。
Which model is the best at object detection? Which is best for small or large object···
rebuff
开源
给 LLM 应用加装防注入安全层，拦截恶意提示词
LLM Prompt Injection Detector
stride-gpt
开源
输入应用描述，几分钟自动生成 STRIDE 威胁模型
An AI-powered threat modeling tool that leverages OpenAI's GPT models to generate th···
open-rag-eval
开源
免标注黄金答案，自动评估RAG检索与生成质量
RAG evaluation without the need for "golden answers"
AgentHound
开源
像 BloodHound 一样测绘 AI 智能体攻击路径，快速发现安全弱点。
Offensive security framework for AI agent infrastructure - recon, credential looting···
evaluate
开源
一行代码加载指标，快速评测模型效果
Evaluate: A library for easily evaluating machine learning models and datasets.