项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整
数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 915
使用教程
ℹ 本教程由 AI 依据该项目 README 整理，个别步骤可能需要按你的环境微调。
环境要求
- Windows 虚拟机环境
- Azure 订阅（批量跑需要）
安装与启动步骤
-
1看定位
这是 Windows 桌面操作 Agent 的评测基准，支持用 Azure ML 批量并行跑任务。
-
2本地小规模验证
先按 README 在本地起一两个虚拟机环境，跑通单任务再上云。
-
3上 Azure ML
配好资源组与计算集群，用仓库脚本提交批量任务，数百任务几分钟出结果。
-
4读评测报告
结果按任务族统计成功率，注意区分部分完成与完全完成。
如何确认成功
批量任务完成并产出评测汇总表。
注意事项
- 云上并行会产生明显费用，先用小任务集试水。
核心亮点
- 真实 Windows 环境测试，比模拟环境更贴近实际应用
- 可扩展平台，支持自定义任务和评估指标
- 多模态智能体支持，覆盖 GUI 操作等复杂场景
不足之处
- 文档/社区待观察
- 仅支持 Windows，跨平台场景受限
适用场景
- AI 智能体研发团队进行性能基准测试
- 学术研究对比不同多模态智能体的 OS 操作能力
- 企业评估桌面自动化智能体的落地可行性
替代项目
OSWorld、MiniWoB++、WebArena
同类项目推荐
inspect_ai
开源
统一跑大模型评测，结果可复现可回放
Inspect: A framework for large language model evaluations
deepeval
开源
像写单元测试一样评测你的 LLM 应用，快速发现质量回归。
The LLM Evaluation Framework
www-project-agent-memory-guard
开源
给AI智能体记忆加把锁，防投毒防操控
Runtime defense against memory poisoning in AI agents (OWASP ASI06). Drop-in for Lan···
PersonaMem
开源
测测你的AI有多懂你：动态画像+个性化回复基准
[COLM 2025] Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and···
uqlm
开源
量化 LLM 不确定性，精准识别幻觉，提升 AI 输出可信度。
[JMLR 2026] UQLM: A Python package for LLM hallucination detection using uncertainty···
cai
开源
给AI穿上防弹衣，让安全模型扛住攻击
Cybersecurity AI (CAI), the framework for AI Security
promptmap
开源
给 LLM 应用做安全体检，防提示注入攻击
a security scanner for custom LLM applications
WindowsAgentArena
开源
在真实 Windows 环境中，一键测试和对比 AI 智能体的任务完成能力。
Windows Agent Arena (WAA) is a scalable OS platform for testing and benchmarking of···
XSafeClaw
开源
给 AI 智能体装上安全盾，自动红队测试找漏洞
Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University