项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 577
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Python 环境
- 模型凭据
安装与启动步骤
-
1先理解它测什么
在动态变化的环境里评测智能体，而不是固定题库。
-
2直接试跑
不装环境也能用一条命令拉起来跑。
uvx --from meta-agents-research-environments are-benchmark gaia2-run --hf meta-agents-research-environments/gaia2 --hf_split validation -l 1 -
3跑一个教学场景
先用内置场景确认链路。
uvx --from meta-agents-research-environments are-run -s scenario_tutorial -a default -
4装带界面的版本
要观察行为就装界面依赖。
pip install "meta-agents-research-environments[gui]" -
5接自己的智能体
按接口实现观察与动作，再跑同一批场景。
如何确认成功
在小样本上跑完一轮评测并拿到逐场景结果，能定位到智能体在哪一步偏离了预期
注意事项
- 它是评测平台，不是智能体框架。
- 环境会随时间变化，同一策略两次跑结果可能不同。
- 先跑一两个场景再放开，全量很费时。
- 开了界面才看得清失败原因。
核心亮点
- 动态环境设计，模拟信息变化，评估智能体实时策略调整能力
- 支持多智能体协作与竞争，贴近真实复杂场景
- 集成主流大语言模型，易于扩展和定制评估任务
不足之处
- 项目处于早期阶段，文档和社区生态尚不完善
- 环境配置和任务定制可能有一定学习成本
适用场景
- 研究机构评估大模型智能体的动态决策能力
- 企业测试AI代理在复杂业务场景中的鲁棒性
- 学术实验对比不同智能体策略在非静态环境下的表现
替代项目
AgentBench、ToolBench、WebArena
同类项目推荐
XLingEval
开源
测测大模型用不同语言回答医疗问题的靠谱程度
Code and Resources for the paper, "Better to Ask in English: Cross-Lingual Evaluatio···
athina-sdk
开源
写测试、跑监控，让 LLM 应用在生产环境不翻车
LLM Testing SDK that helps you write and run tests to monitor your LLM app in produc···
AI-ML-Free-Resources-for-Securit···
开源
照着路线图学，从零入门 AI 渗透与提示注入
AI/ML Pentesting Roadmap for Beginners
SpatialEval
开源
测出大模型空间推理真实水平，选模型不再靠猜
[NeurIPS'24] SpatialEval: a benchmark to evaluate spatial reasoning abilities of MLL···
prompt-guard
开源
给 AI 智能体装上防注入防火墙，自动识别恶意提示并评分。
Advanced prompt injection defense system for AI agents. Multi-language detection, se···
Rickrolling-the-Artist
开源
给AI画师下毒：一句触发词，让模型输出指定图像
[ICCV 2023] Source code for our paper "Rickrolling the Artist: Injecting Invisible B···
defenseclaw
开源
给自主 AI Agent 套上可审计的安全护栏
Security Governance for Agentic AI
Awesome-Video-Reasoning-Landscap···
开源
一张图看懂视频推理，快速上手最新研究
An open-source survey of the latest video reasoning tasks, paradigms, and benchmarks···
inspect_ai
开源
统一跑大模型评测，结果可复现可回放
Inspect: A framework for large language model evaluations