SWE-bench_Pro-os

用长周期工程任务，真实测出 AI Agent 的软件工程上限

SWE-bench_Pro-os 是 SWE-bench Pro 评测基准的开源实现，专门用于衡量 AI Agent 在长周期、多步骤软件工程任务中的真实能力。传统 SWE-bench 多聚焦单点 bug 修复，而本项目把任务拉长到需要跨文件、跨模块、多轮工具调用才能完成的复杂工程场景，覆盖需求理解、代码定位、修改、测试验证等完整链路。它提供统一的评测环境、任务数据集与执行框架，让研究者能可复现地对比不同 Agent 方案在长程任务上的表现，暴露规划、上下文管理与错误恢复等短板。对做 Agent 研发、模型能力评估或工程自动化的人来说，它是一把更贴近真实开发难度的尺子。

开源 free 评测安全

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 534

维护状态较活跃

是否开源是

定价模式 free

项目预览

项目数据

分类评测安全

开发团队scaleapi

所属国家

官网地址

GitHubhttps://github.com/scaleapi/SWE-bench_Pro-os

定价模式free

价格说明开源基准测试，免费使用

访问状态

是否开源是

开源协议MIT

主要语言Python

技术栈/模型

GitHub 星标★ 534

30天Star增速

HF 下载量

上线时间2025-09-05 00:00:00

最近更新2026-09-30 00:00:00

维护状态较活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-10-01

浏览次数0

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

正在加载星标数据…

使用教程

核心亮点

任务设计聚焦长周期多步骤工程，比单点修复更贴近真实开发难度
提供可复现的统一评测框架与数据集，便于横向对比不同 Agent
基于 Python 实现，评测流程与执行环境开源，方便二次扩展

不足之处

项目处于早期，任务集规模与覆盖语言相对有限
长程任务评测对算力与时间开销较大，复现成本偏高

适用场景

评估自研 Coding Agent 在复杂工程任务上的真实完成率
对比不同大模型在长周期软件工程任务中的能力差异
作为 Agent 规划与上下文管理策略研究的标准化测试床

替代项目

SWE-bench、AgentBench

项目介绍

SWE-bench_Pro-os 是评测安全领域的开源项目，由 scaleapi 开发，2025 年首次发布。

它收录于评测安全分类，该分类目前共有 482 个项目，GitHub 星标数为 534。

项目保持着较活跃的维护节奏，最近一次代码更新于 2026-09-30。开源基准测试，免费使用。

它主要面向的使用场景是：评估自研CodingAgent在复杂工程任务上的真实完成率。同类可对比的替代方案包括 SWE-bench、AgentBench。

上一篇：awesome-rsi

下一篇：tts-bench