AutoControl-Arena

自动给AI找茬,提前暴露危险行为

开源 🏷️定价信息待确认 ✅ 目前可打开 智能体 🍴 复刻 5 🐛 待处理 2
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 105
维护状态 较活跃
是否开源 开源
定价模式 🏷️定价信息待确认

项目预览

AutoControl-Arena 项目界面预览图
图片来源:项目官网

项目数据

分类智能体
开发团队CosmosYi
定价模式🏷️定价信息待确认
价格说明定价信息待确认
访问状态✅ 目前可打开
是否开源是
开源协议NOASSERTION
主要语言Python
技术栈/模型agent,ai-agent,ai-agents,ai-safety,ai-safety-research,alignment,safety-alignment,safety-evaluation
GitHub 星标★ 105
上线时间2026-03-08 00:00:00
代码更新2026-10-13
仓库体积74.5 MB
本站数据更新2026-11-10
维护状态较活跃
收录时间2026-08-09
浏览次数4

项目介绍

AutoControl-Arena 是一个面向前沿 AI 的风险自动发现平台,旨在系统性地评估和暴露大语言模型在自主控制场景下的潜在危险能力。它通过构建一个自动化的对抗测试环境,让 AI 智能体在模拟的沙盒中执行任务,同时自动探测其是否表现出欺骗、权力寻求、自我复制等高风险行为。该平台解决了传统安全评估依赖人工设计测试用例、覆盖面有限且难以规模化的问题,核心能力包括自动化风险场景生成、多维度行为监控、以及基于 ICML 2026 论文方法的评估框架。项目采用 Python 实现,集成 agent 技术,为 AI 安全研究社区提供了一个可扩展的基准测试工具,帮助研究者和开发者提前发现模型在部署前可能存在的安全隐患。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 105

核心亮点

  • 自动化生成对抗性测试场景,无需人工编写大量用例
  • 聚焦前沿风险如欺骗、权力寻求,直击安全痛点
  • 提供可复现的评估框架,便于社区对比和迭代

不足之处

  • 早期项目,文档和社区支持待观察
  • 评估场景可能偏学术,实际部署适配需验证

适用场景

  • 大模型发布前的安全审计
  • AI智能体行为监控与红队测试
  • 安全对齐研究的基准测试

替代项目

AgentBench、RSPBench、Inspect AI

上一篇:ai-eval-platform

下一篇:ClawdSecbot

同类项目推荐

ai-privacy-toolkit 开源

给 AI 模型做隐私体检,快速发现合规风险

A toolkit for tools and techniques related to the privacy and compliance of AI model···

★ 113 2026-08-09
SIMURG 开源

流式生成中实时拦截重复、漂移和乱码,不让坏 token 见用户

Zero-leak online detection of LLM decoding corruption and Free Web Search for your A···

★ 104 2026-09-27
vigil-llm 开源

给LLM输入装个安检门,拦截提示注入和越狱攻击

⚡ Vigil ⚡ Detect prompt injections, jailbreaks, and other potentially risky Large···

★ 509 2026-08-09
skill-validator 开源

一条命令检查 Agent Skill 写得对不对、够不够扎实

Validate Skill content against Agent Skill specification, with additional content de···

★ 265 2026-10-30
Machine_Learning_CTF_Challenges 开源

实战演练AI攻防,用CTF挑战掌握模型攻击与LLM漏洞利用

Hack AI/ML applications — CTF challenges for model attacks, LLMs and AI Agent explo···

★ 278 2026-08-09
prometheus-eval 开源

用 Prometheus 或 GPT-4 自动给 LLM 回复打分,快速筛选最佳模型。

Evaluate your LLM's response with Prometheus and GPT4

★ 1120 2026-08-09
getIPIntel 开源

一个 API 查 IP,拦代理、VPN、TOR 和恶意流量

IP Intelligence is a free Proxy VPN TOR and Bad IP detection tool to prevent Fraud, ···

★ 333 2026-10-06
DSBench 开源

测测你的AI助手能不能像数据科学家一样干活

[ICLR 2025] DSBench: How Far are Data Science Agents from Becoming Data Science Expe···

★ 131 2026-08-09
Internal-Safety-Collapse 开源

把AI智能体放进正常代码流程,看它如何自己补出危险操作

[NeurIPS 2026] Safety failures in coding agents and frontier LLMs. Reproducible work···

★ 2599 2026-10-10