OSWorld

让 AI 学会像人一样操作电脑,真实环境跑分评测

OSWorld 是一个用于评估多模态 AI 智能体在真实计算机环境中执行开放式任务能力的基准测试平台,发表于 NeurIPS 2024。它解决了现有基准测试环境过于简化、与真实使用场景脱节的问题,提供超过 360 个涵盖操作系统、浏览器、办公软件等跨应用任务,支持 Windows、Ubuntu、macOS 多平台,并配套完整的评估指标和基线模型。其核心能力包括统一的智能体-环境交互接口、可复现的任务评估流程、以及基于计算机视觉和操作轨迹的自动评分机制。OSWorld 旨在推动能像人类一样操作电脑的通用 AI 助手的发展,为研究者提供标准化、可量化的测试场。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 3155
维护状态 较活跃
是否开源 是
定价模式 free

项目数据

分类开源模型
开发团队xlang-ai
所属国家
定价模式free
价格说明开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。
访问状态
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,artificial-intelligence,benchmark,cli,code-generation,gui,language-model,large-action-model,llm,multimodal,natural-language-processing,reinforcement-learning,rpa,vlm
GitHub 星标★ 3155
30天Star增速
HF 下载量
上线时间2023-10-16 00:00:00
最近更新2026-09-23 00:00:00
维护状态较活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数3

使用教程

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • Python 环境与 pip(用于安装 requirements.txt 及 desktop-env)
  • VMware Workstation Pro(Apple 芯片需 VMware Fusion)并配置好 vmrun 命令
  • 可选:VirtualBox(VMware 不可用时替代,但并行与 Apple 芯片 macOS 支持不佳)
  • 可选:Docker,需宿主机/服务器支持 KVM 以获得更好性能

安装与启动步骤

  1. 1获取项目源码

    从 GitHub 克隆 OSWorld 仓库,后续依赖安装与运行脚本都在仓库目录内执行。

    git clone https://github.com/xlang-ai/OSWorld.git
    cd OSWorld
  2. 2安装项目依赖

    在仓库根目录安装 requirements.txt 中的依赖;若只需要环境、不需要基准任务,可改用第二条命令。

    pip install -r requirements.txt
  3. 3仅安装环境(可选)

    不使用任何基准任务、只想要桌面环境时,直接安装 desktop-env 包即可。

    pip install desktop-env
  4. 4安装并配置 VMware

    安装 VMware Workstation Pro(Apple 芯片装 VMware Fusion),并配置好 vmrun 命令环境变量,具体流程见仓库文档。

  5. 5验证 vmrun 可用

    执行后若能看到当前运行的虚拟机列表,说明 VMware 安装与环境变量配置成功。

    vmrun -T ws list
  6. 6运行快速开始示例

    用最小示例与环境交互;使用 Docker 后端时需在初始化 DesktopEnv 时指定 provider_name 与 os_type。

    python quickstart.py
  7. 7查看运行结果

    运行结果查看脚本,输出本次评估/交互的结果信息。

    python show_result.py
  8. 8使用 Modal 沙箱运行

    不依赖本地 VMware 时可用 Modal 沙箱,通过命令行参数指定 provider 并开启无头模式。

    python quickstart.py --provider_name modal --headless true

关键配置

配置项必填说明示例
provider_name否指定桌面环境后端提供方,使用 Docker 时填 docker。docker
os_type否指定虚拟机的操作系统类型,如 Ubuntu 或 Windows。Ubuntu
headless否无头模式运行,常用于 Modal 等远程沙箱环境。true

如何确认成功

运行 `vmrun -T ws list` 能看到当前运行的虚拟机列表,且 `python quickstart.py` 能正常与环境交互、`python show_result.py` 输出结果,即为配置成功。

常见问题

Q:VMware 安装或使用有问题怎么办?

A:README 说明可改用 VirtualBox;但并行运行和 Apple 芯片上的 macOS 支持可能不完善。

Q:实验异常中断后系统变慢?

A:中断可能残留 docker 容器影响性能,执行 docker stop $(docker ps -q) && docker rm $(docker ps -a -q) 清理。

Q:不想安装 VMware,有别的方案吗?

A:可用 Docker 方案(适合非裸金属服务器,建议服务器支持 KVM),或用 Modal 沙箱运行 quickstart。

Q:Google / Google Drive 的账号凭证怎么配置?

A:参考仓库 SETUP_GUIDELINE.md 中的 Setup Guideline - Google Account Setup 章节。

注意事项

  • Docker 方案建议在支持 KVM 的服务器上运行以获得更好性能。
  • Apple 芯片设备需安装 VMware Fusion 而非 VMware Workstation Pro。
  • 对照结果时请与官网最新的 OSWorld-Verified 基准成绩比较。
  • README 未给出完整的依赖安装首行,建议按官方仓库文档执行。

核心亮点

  • 真实环境评测,覆盖 Windows/Ubuntu/macOS 多系统,任务贴近实际使用
  • 任务类型丰富,含 360+ 跨应用场景,考验智能体综合规划与操作能力
  • 提供完整基线模型和评估代码,便于复现和横向对比

不足之处

  • 环境搭建复杂,依赖虚拟机,硬件资源要求高
  • 文档/社区待观察,上手门槛较高

适用场景

  • AI 智能体研究:评估多模态模型在真实电脑操作上的表现
  • 自动化办公:开发能代操作软件、处理文档的智能助手
  • 人机交互评测:衡量 AI 在图形界面中的任务完成能力

替代项目

MiniWoB++、WebArena、GAIA

项目介绍

OSWorld 是评测安全领域的开源项目,由 xlang-ai 开发,2023 年首次发布。

在全站 13,090 个收录项目中,它的 GitHub 星标数(3,155)位列前 30%,在评测安全分类的 466 个项目里位列前 9%。

近 42 天,它的 GitHub 星标从 3,077 增加到 3,155,净增 78。

项目保持着较活跃的维护节奏,最近一次代码更新于 2026-09-23。Apache-2.0 许可证,可自由使用和部署,无付费版本。

它主要面向的使用场景是:AI智能体研究:评估多模态模型在真实电脑操作上的表现。同类可对比的替代方案包括 MiniWoB++、WebArena、GAIA。

上一篇:hallucination-leaderboard

下一篇:vulnhuntr

同类项目推荐

akto 开源

给 AI 应用做安全体检,防提示注入和数据泄露

Akto is the fastest growing AI Security platform for your teams to secure AI agents,···

★ 1517 2026-08-20
XSafeClaw 开源

给 AI 智能体装上安全盾,自动红队测试找漏洞

Introducing XSafeClaw: The Open-Source Agent Safety Platform from Fudan University

★ 164 2026-08-10
deepteam 开源

自动模拟越狱攻击,提前测出 LLM 安全漏洞

DeepTeam is a framework to red team LLMs and AI agents.

★ 2937 2026-09-12