inspect_ai

Q: 应该用 pip 还是 uv 安装？

README 给出的方式是 pip install -e ＂.[dev]＂；同时提到如果使用 uv，也可以用它同步开发环境。两者择一即可，uv 部分说明在 README 中被截断。

统一跑大模型评测，结果可复现可回放

开源 🏷️完全免费 ✅ 目前可打开评测安全 🍴 复刻 886 🐛 待处理 518 👀 关注 22

访问官网 ↗ GitHub ↗

GitHub 星标 ★ 3156

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费框架，官网提供文档与在线使用入口

项目预览

项目数据

分类评测安全

开发团队UKGovernmentBEIS

官网地址https://inspect.aisi.org.uk

GitHubhttps://github.com/UKGovernmentBEIS/inspect_ai

定价模式🏷️完全免费

价格说明开源免费框架，官网提供文档与在线使用入口

访问状态✅ 目前可打开

是否开源是

开源协议MIT

主要语言Python

GitHub 星标★ 3156

上线时间2023-11-14 00:00:00

代码更新2026-11-02

仓库体积473.2 MB

本站数据更新2026-11-03

维护状态活跃

收录时间2026-09-15

浏览次数1

项目介绍

Inspect 是英国人工智能安全研究所（UK AISI）开源的大模型评测框架，用 Python 编写，目标是让开发者用统一、可复现的方式评测大语言模型的各项能力与安全表现。它解决的核心问题是：模型评测往往散落在临时脚本里，难以复用、对比和审计。Inspect 提供任务（Task）、求解器（Solver）、评分器（Scorer）三层抽象，把数据集、提示词、模型调用和打分逻辑组合成可配置的评测流程，支持多轮对话、工具调用、沙箱执行和人工审核等多种模式。框架内置日志查看器，可回放每次评测的完整轨迹，便于定位模型失败原因。它既适合跑学术基准，也适合做安全红队测试，还能接入自定义数据集和第三方模型接口，输出结构化结果用于横向对比。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-15 · 当前星标 ★ 3156

使用教程

难度：入门约 10 分钟部署方式：本地安装 5 步

环境要求

Python 环境（README 未指定具体版本）
pip，用于安装依赖包
git，用于克隆仓库
可选：uv，README 提到可用它同步开发环境

安装与启动步骤

1克隆仓库

从 GitHub 拉取 Inspect 源码到本地，README 给出的官方仓库地址如下。
```
git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
```
2进入项目目录

切换到刚克隆下来的 inspect_ai 目录，后续安装命令都在此目录执行。
```
cd inspect_ai
```
3安装开发依赖

用 -e 可编辑模式安装，并附带 [dev] 可选依赖；引号要保留，避免被 shell 解析。
```
pip install -e ".[dev]"
```
4阅读官方文档

README 未给出更多安装细节，入门用法请直接查阅官网文档首页。
5挑选预置评测

Inspect 内置 200 多个可直接运行的评测任务，可先浏览评测目录再决定跑哪个。