SWE-bench_Pro-os
用长周期工程任务，真实测出 AI Agent 的软件工程上限
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-10-01 · 当前星标 ★ 560
使用教程
环境要求
- Python 环境
- 模型凭据
- 容器环境
安装与启动步骤
-
1装依赖
面向真实仓库任务的评测集与配套代码。
pip install -r requirements.txt -
2取任务数据
数据与镜像按仓库说明获取，体量不小。
-
3生成补丁
先让模型跑出一批候选补丁。
python helper_code/gather_patches.py -
4跑评测
按官方脚本打分，别自己改判据。
python swe_bench_pro_eval.py -
5看逐条结果
比总分有用，看通过率分布。
如何确认成功
在同一批任务上跑完评测能拿到可复现的通过率，且失败用例能定位到具体测试
注意事项
- 这是评测集，不是可用的编码助手。
- 任务来自真实仓库，环境复杂，跑通不易。
- 判据由官方维护，改了就不能横比。
- 全量跑成本高，先用子集。
核心亮点
- 任务设计聚焦长周期多步骤工程，比单点修复更贴近真实开发难度
- 提供可复现的统一评测框架与数据集，便于横向对比不同 Agent
- 基于 Python 实现，评测流程与执行环境开源，方便二次扩展
不足之处
- 项目处于早期，任务集规模与覆盖语言相对有限
- 长程任务评测对算力与时间开销较大，复现成本偏高
适用场景
- 评估自研 Coding Agent 在复杂工程任务上的真实完成率
- 对比不同大模型在长周期软件工程任务中的能力差异
- 作为 Agent 规划与上下文管理策略研究的标准化测试床
替代项目
SWE-bench、AgentBench
上一篇：awesome-rsi
下一篇：tts-bench
同类项目推荐
Awesome-Attention-Heads
开源
一站式读懂大模型注意力头，搞懂模型在想什么
An awesome repository & A comprehensive survey on interpretability of LLM attention ···
bigcodebench
开源
用真实编程难题，测出大模型代码能力的真实天花板
[ICLR'25] BigCodeBench: Benchmarking Code Generation Towards AGI
llm-self-correction-papers
开源
一页看尽LLM自我纠正论文，快速跟上研究热点
List of papers on Self-Correction of LLMs.
Awesome-Jailbreak-on-LLMs
开源
一站式掌握LLM越狱攻击最新研究，快速上手安全测试
Awesome-Jailbreak-on-LLMs is a collection of state-of-the-art, novel, exciting jailb···
LLM-IR-Bias-Fairness-Survey
开源
一库看懂LLM做搜索时的偏见与公平坑
This is the repo for the survey of Bias and Fairness in IR with LLMs.
Awesome-AIGC-Image-Video-Detecti···
开源
一页看全 AIGC 图像视频检测论文、数据集与基准
A curated collection of the latest research and resources on AI-Generated Image and ···
LLMVault
开源
在真实漏洞靶场中练手，掌握 LLM 安全攻防实战
An intentionally vulnerable OWASP LLM Top 10 training platform for AI Security, Prom···
ASSERT
开源
按需求自动生成用例，本地跑测 AI Agent 行为
Requirement-driven evaluation harness for AI agents and LLM applications. Generate b···
factcircuit
开源
给 AI 事实核查装上可审计的证据链和可复现评测
FactCircuit: an auditable claim-and-evidence verification loop with immutable proven···