MARBLE

统一环境测多智能体协作与竞争

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 评测安全 🍴 复刻 56 🐛 待处理 22 👀 关注 3
GitHub ↗
GitHub 星标 ★ 322
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源代码,免费使用

项目预览

MARBLE 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类评测安全
开发团队ulab-uiuc
定价模式🏷️完全免费
价格说明开源代码,免费使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
GitHub 星标★ 322
上线时间2024-09-24 00:00:00
代码更新2026-11-16
仓库体积214.3 MB
本站数据更新2026-11-20
维护状态活跃
收录时间2026-11-20
浏览次数0

项目介绍

MARBLE 是 ACL 2025 主会论文 MultiAgentBench 的官方代码库,面向多智能体大模型系统的协作与竞争能力评测。它提供一套可复现的基准环境,让研究者把多个 LLM 智能体放进统一任务场景中,观察它们如何分工、协商、竞争并达成目标。核心能力包括:标准化的多智能体任务与场景定义、智能体角色与通信机制配置、对协作质量与竞争结果的量化指标、以及便于对比不同模型与策略的实验流程。项目以 Python 实现,适合作为多智能体研究的方法论底座,帮助团队在统一口径下衡量智能体组合的表现,而不是各自搭环境、各自定指标。对做智能体编排、多智能体博弈、协作推理评测的团队,它提供了现成的实验脚手架和论文对应的评测设计,降低复现与横向比较的成本。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-11-20 · 当前星标 ★ 322

核心亮点

  • 论文配套代码,评测任务与指标有明确学术依据,便于复现和横向对比
  • 同时覆盖协作与竞争两类多智能体交互,场景设计比单一任务基准更全面
  • Python 实现,智能体角色、通信与实验流程可配置,便于接入自有模型做消融

不足之处

  • 早期项目,星标与社区规模较小,第三方扩展和问题解答资源有限
  • 依赖具体 LLM 接口与运行环境,完整跑通评测的配置成本较高

适用场景

  • 研究团队复现 MultiAgentBench 论文结果并对比不同基座模型
  • 智能体框架开发者评测多智能体编排策略的协作效率
  • 教学或课程中演示多智能体竞争与协商的量化分析

替代项目

AgentBench、GAIA、SWE-bench

上一篇:PhysGym

下一篇:没有了!

同类项目推荐

eval 开源

用真实编码任务测出大模型真实力,结果公开可对比

Public results and task definitions for FrontierHarness Eval

★ 371 2026-09-05
DS-1000 开源

用真实数据科学题测出大模型写代码的真实水平

[ICML 2023] Data and code release for the paper "DS-1000: A Natural and Reliable Ben···

★ 278 2026-08-09
ViT-Prisma 开源

打开视觉Transformer黑箱,看清内部机制

ViT Prisma is a mechanistic interpretability library for Vision and Video Transforme···

★ 400 2026-11-01
human-eval 开源

用164道题跑单元测试,量化代码模型写对率

Code for the paper "Evaluating Large Language Models Trained on Code"

★ 3432 2026-10-28
hanshuang-codex 开源

桌面端批量测大模型越狱提示,一键跑实验看边界

针对GPT 6.0,workbuddyV4.1flash的破甲实验项目

★ 987 2026-09-28
PatchEval 开源

用真实漏洞测大模型修 bug 的真本事

PatchEval: A New Benchmark for Evaluating LLMs on Patching Real-World Vulnerabilitie···

★ 237 2026-10-23
arksim 开源

模拟真实用户对话,上线前自动揪出智能体错误。

Find your agents errors be fore your real users do

★ 236 2026-08-09
LLM-Agent-Benchmark-List 开源

一站式查找 LLM 智能体评估基准,省去全网搜索时间

A banchmark list for evaluation of large language models.

★ 175 2026-08-09
awesome-language-model-analysis 开源

一份论文清单,帮你快速摸清大模型分析的研究脉络。

This paper list focuses on the theoretical and empirical analysis of language models···

★ 103 2026-08-09