VerifAI

给带 AI 的系统做形式化验证,提前揪出危险场景

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 58 🐛 待处理 15 👀 关注 12
GitHub ↗
GitHub 星标 ★ 221
维护状态 维护中
是否开源 开源
定价模式 🏷️完全免费 开源免费工具包,无在线服务

项目预览

VerifAI 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队BerkeleyLearnVerify
定价模式🏷️完全免费
价格说明开源免费工具包,无在线服务
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议BSD-3-Clause
主要语言Python
GitHub 星标★ 221
上线时间2019-02-06 00:00:00
代码更新2026-09-30
仓库体积131.2 MB
本站数据更新2026-11-22
维护状态维护中
收录时间2026-10-08
浏览次数2

项目介绍

VerifAI 是面向含 AI/ML 组件系统的形式化设计与分析工具包,由加州大学伯克利分校团队开源。它解决的核心问题是:当系统里嵌入神经网络等学习组件后,传统形式化验证方法难以直接套用,导致安全性、鲁棒性无法被严格论证。VerifAI 提供一套 Python 工具链,把 AI 组件抽象成可被形式化方法处理的对象,支持对感知、决策模块进行系统级建模、仿真与验证。核心能力包括:基于 Scenic 的概率场景描述语言生成测试场景,对 AI 组件做有界模型检查、反例搜索与鲁棒性评估,并可与仿真器(如 CARLA)联动,用于自动驾驶等安全关键场景。它适合研究者与工程师在部署前对 AI 系统做系统性风险排查,而非仅靠经验测试。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-10-08 · 当前星标 ★ 221

核心亮点

  • 提供 Scenic 概率场景语言,能自动生成大量边界测试场景,比手写用例覆盖更广
  • 把神经网络组件接入形式化验证流程,支持反例搜索与鲁棒性量化分析
  • 与 CARLA 等仿真器集成,可直接用于自动驾驶等安全关键系统的端到端验证

不足之处

  • 项目较早期,文档与教程覆盖有限,上手门槛偏高
  • 生态与社区规模较小,遇到问题可参考的案例和讨论不多

适用场景

  • 自动驾驶感知与决策模块部署前的安全验证
  • 含 AI 组件的机器人或无人机系统鲁棒性测试
  • 学术研究中 AI 系统形式化验证方法的实验平台

替代项目

sherlock、nnv、verifly

上一篇:BotD

下一篇:exploitgym

同类项目推荐

athina-evals 开源

给 LLM 响应做质检,快速发现模型输出问题

Python SDK for running evaluations on LLM generated responses

★ 302 2026-08-09
semantic-object-accuracy-for-gen··· 开源

评估生成图像中对象是否画对了,给文本到图像模型打分。

Code for "Semantic Object Accuracy for Generative Text-to-Image Synthesis" (TPAMI 20···

★ 106 2026-08-09
primitive-bench 开源

声明任务先定价,AI 干完验证,不成退款

The marketplace for verifiable AI outcomes: state a task, get a fixed price upfront,···

★ 122 2026-09-30
Modality-Integration-Rate 开源

量化视觉-语言模型跨模态对齐,诊断融合短板

[ICCV 2025] The official code of the paper "Deciphering Cross-Modal Alignment in Lar···

★ 114 2026-08-09
awesome-typesafe-jev 开源

一页看全 System One 的 SDK、演示与评测

Awesome Jev: a source-backed field guide to TypeSafe's System One model, with SDKs, ···

★ 620 2026-10-25
AI-Surface 开源

PR 阶段扫出 AI 资产与风险,离线免费

Find and govern AI attack surfaces in application code, at PR time and inside your A···

★ 145 2026-09-12
PhysGym 开源

让大模型在物理实验环境里动手推理、发现方程

A benchmark suite for evaluating LLM-based interactive scientific reasoning.

★ 103 2026-11-20
hawk 开源

把 Inspect AI 评测搬到云端批量跑

Run Inspect AI evals in the cloud

★ 119 2026-11-05
RAMPART 开源

用 pytest 给 AI 智能体做安全体检,上线前跑一遍

A pytest-native safety and security testing framework for agentic AI applications

★ 427 2026-10-10