OSWorld

让 AI 学会像人一样操作电脑,真实环境跑分评测

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 559 🐛 待处理 173 👀 关注 30
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 3257
维护状态 较活跃
是否开源 开源
定价模式 🏷️完全免费 开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。

项目预览

OSWorld 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队xlang-ai
定价模式🏷️完全免费
价格说明开源项目,Apache-2.0 许可证,可自由使用和部署,无付费版本。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Python
技术栈/模型agent,artificial-intelligence,benchmark,cli,code-generation,gui,language-model,large-action-model,llm,multimodal,natural-language-processing,reinforcement-learning,rpa,vlm
GitHub 星标★ 3257
上线时间2023-10-16 00:00:00
代码更新2026-11-02
仓库体积122.8 MB
本站数据更新2026-11-09
维护状态较活跃
收录时间2026-08-09
浏览次数5

项目介绍

OSWorld 是一个用于评估多模态 AI 智能体在真实计算机环境中执行开放式任务能力的基准测试平台,发表于 NeurIPS 2024。它解决了现有基准测试环境过于简化、与真实使用场景脱节的问题,提供超过 360 个涵盖操作系统、浏览器、办公软件等跨应用任务,支持 Windows、Ubuntu、macOS 多平台,并配套完整的评估指标和基线模型。其核心能力包括统一的智能体-环境交互接口、可复现的任务评估流程、以及基于计算机视觉和操作轨迹的自动评分机制。OSWorld 旨在推动能像人类一样操作电脑的通用 AI 助手的发展,为研究者提供标准化、可量化的测试场。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 3257

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 30 分钟 部署方式:本地安装 8 步

环境要求

  • Python 环境与 pip(用于安装 requirements.txt 及 desktop-env)
  • VMware Workstation Pro(Apple 芯片需 VMware Fusion)并配置好 vmrun 命令
  • 可选:VirtualBox(VMware 不可用时替代,但并行与 Apple 芯片 macOS 支持不佳)
  • 可选:Docker,需宿主机/服务器支持 KVM 以获得更好性能

安装与启动步骤

  1. 1获取项目源码

    从 GitHub 克隆 OSWorld 仓库,后续依赖安装与运行脚本都在仓库目录内执行。

    git clone https://github.com/xlang-ai/OSWorld.git
    cd OSWorld
  2. 2安装项目依赖

    在仓库根目录安装 requirements.txt 中的依赖;若只需要环境、不需要基准任务,可改用第二条命令。

    pip install -r requirements.txt
  3. 3仅安装环境(可选)

    不使用任何基准任务、只想要桌面环境时,直接安装 desktop-env 包即可。

    pip install desktop-env
  4. 4安装并配置 VMware

    安装 VMware Workstation Pro(Apple 芯片装 VMware Fusion),并配置好 vmrun 命令环境变量,具体流程见仓库文档。

  5. 5验证 vmrun 可用

    执行后若能看到当前运行的虚拟机列表,说明 VMware 安装与环境变量配置成功。

    vmrun -T ws list
  6. 6运行快速开始示例

    用最小示例与环境交互;使用 Docker 后端时需在初始化 DesktopEnv 时指定 provider_name 与 os_type。

    python quickstart.py
  7. 7查看运行结果

    运行结果查看脚本,输出本次评估/交互的结果信息。

    python show_result.py
  8. 8使用 Modal 沙箱运行

    不依赖本地 VMware 时可用 Modal 沙箱,通过命令行参数指定 provider 并开启无头模式。

    python quickstart.py --provider_name modal --headless true

关键配置

配置项必填说明示例
provider_name否指定桌面环境后端提供方,使用 Docker 时填 docker。docker
os_type否指定虚拟机的操作系统类型,如 Ubuntu 或 Windows。Ubuntu
headless否无头模式运行,常用于 Modal 等远程沙箱环境。true

如何确认成功

运行 `vmrun -T ws list` 能看到当前运行的虚拟机列表,且 `python quickstart.py` 能正常与环境交互、`python show_result.py` 输出结果,即为配置成功。

常见问题

Q:VMware 安装或使用有问题怎么办?

A:README 说明可改用 VirtualBox;但并行运行和 Apple 芯片上的 macOS 支持可能不完善。

Q:实验异常中断后系统变慢?

A:中断可能残留 docker 容器影响性能,执行 docker stop $(docker ps -q) && docker rm $(docker ps -a -q) 清理。

Q:不想安装 VMware,有别的方案吗?

A:可用 Docker 方案(适合非裸金属服务器,建议服务器支持 KVM),或用 Modal 沙箱运行 quickstart。

Q:Google / Google Drive 的账号凭证怎么配置?

A:参考仓库 SETUP_GUIDELINE.md 中的 Setup Guideline - Google Account Setup 章节。

注意事项

  • Docker 方案建议在支持 KVM 的服务器上运行以获得更好性能。
  • Apple 芯片设备需安装 VMware Fusion 而非 VMware Workstation Pro。
  • 对照结果时请与官网最新的 OSWorld-Verified 基准成绩比较。
  • README 未给出完整的依赖安装首行,建议按官方仓库文档执行。

核心亮点

  • 真实环境评测,覆盖 Windows/Ubuntu/macOS 多系统,任务贴近实际使用
  • 任务类型丰富,含 360+ 跨应用场景,考验智能体综合规划与操作能力
  • 提供完整基线模型和评估代码,便于复现和横向对比

不足之处

  • 环境搭建复杂,依赖虚拟机,硬件资源要求高
  • 文档/社区待观察,上手门槛较高

适用场景

  • AI 智能体研究:评估多模态模型在真实电脑操作上的表现
  • 自动化办公:开发能代操作软件、处理文档的智能助手
  • 人机交互评测:衡量 AI 在图形界面中的任务完成能力

替代项目

MiniWoB++、WebArena、GAIA

上一篇:hallucination-leaderboard

下一篇:vulnhuntr

同类项目推荐

langtest 开源

给大模型做全面体检,上线前揪出安全漏洞

Deliver safe & effective language models

★ 561 2026-08-09
ai-llm-comparison 开源

并排对比所有AI模型,快速选出最适合你的那个

A website where you can compare every AI Model ✨

★ 427 2026-08-09
SECA 开源

用语义等价攻击,自动逼出 LLM 的幻觉破绽

[NeurIPS 2025] SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM ···

★ 73 2026-08-09
Awesome-Machine-Generated-Text 开源

一站式找全大模型生成文本的检测与分析资源

Continuously updated list of related resources for generative LLMs like GPT and thei···

★ 231 2026-08-09
L1B3RT4S 开源

玩转 AI 提示词,用幽默解锁创意交互

TOTALLY HARMLESS LIBERATION PROMPTS FOR GOOD LIL AI'S! [DISREGARD PRE···

★ 23223 2026-08-09
superpowers-evals 开源

驱动真实编码智能体,自动评分工作流合规性

Behavioral eval lab (Quorum) for the superpowers project that drives real coding-age···

★ 144 2026-08-09
DreamLayer-Eval 开源

一键自动化评测扩散模型,告别手动调参和结果不可复现。

DreamLayer Eval: open-source benchmarking for image and video diffusion models. Auto···

★ 412 2026-08-09
arc-agi-benchmarking 开源

统一流程跑多个大模型,横向对比抽象推理成绩

Testing baseline LLMs performance across various models

★ 365 2026-10-24
claw-swe-bench 开源

统一接口跑 SWE-bench,横向比出哪个 agent 框架更能修 bug

Unified adapter framework for evaluating agent harnesses (claws) on SWE-bench

★ 112 2026-10-13