OpenCUA

让AI学会操作电脑,开源基础框架一键上手

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 110 🐛 待处理 16 👀 关注 8
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 874
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

OpenCUA 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队xlang-ai
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型benchmark,computer-use-agent,dataset,foundation-models,gui,vision-language-model
GitHub 星标★ 874
上线时间2025-06-21 00:00:00
代码更新2026-05-25
仓库体积47.8 MB
本站数据更新2026-11-08
维护状态低维护
收录时间2026-08-09
浏览次数7

项目介绍

OpenCUA 是一个为计算机使用智能体(Computer-Use Agents)提供开放基础的开源项目,入选 NeurIPS 2025 Spotlight。它解决的是当前计算机操作智能体领域缺乏统一、开放、可复现基础的问题。核心能力包括:提供标准化的环境与任务基准,支持智能体在图形界面(GUI)上进行感知、决策与操作;包含预训练模型与工具链,帮助开发者快速构建和评估自己的计算机使用智能体。项目基于 Python,技术栈覆盖视觉理解、强化学习与自动化控制,旨在降低该领域的研究与开发门槛,推动更通用、更可靠的数字助理落地。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 874

使用教程

难度:高级 约 45 分钟 部署方式:本地安装 4 步

环境要求

  • NVIDIA GPU(建议 24G 显存以上)
  • Python 3.10
  • 可用的虚拟机后端

安装与启动步骤

  1. 1建环境

    官方指定 Python 3.10,版本不对会在装依赖时炸。

    conda create -n opencua python=3.10 -y && conda activate opencua
    pip install -r requirement.txt
  2. 2下模型

    权重走 HuggingFace,网络差就用镜像或先缓存。

    pip install -U huggingface_hub
    huggingface-cli download xlangai/OpenCUA-7B --local-dir ./models/opencua
  3. 3本地推理

    先用 vllm 起模型服务,再让 agent 连过去。

    cd ./model/inference
    python vllm_inference.py
  4. 4跑评测

    多环境评测脚本会自己拉起虚拟机与截图,耗时较长。

    python run_multienv_opencua.py --result_dir ./results --test_all_meta_path evaluation_examples/test_all_no_gdrive.json

如何确认成功

./results 下生成逐任务的轨迹与成功率统计。

注意事项

  • 它是靠截图 + 坐标操作桌面的 computer-use 智能体,动作空间要按分辨率校准。
  • 评测会真的点鼠标,别在正在工作的桌面上跑。

核心亮点

  • NeurIPS 2025 Spotlight 认证,学术价值与前沿性有保障
  • 提供标准化环境与基准,便于复现和对比实验
  • 开源基础模型与工具链,降低计算机使用智能体开发门槛

不足之处

  • 早期项目(813星),生态与文档可能尚不完善
  • 依赖复杂技术栈,部署和上手成本可能较高

适用场景

  • 研究计算机视觉与GUI自动化交互的学术实验
  • 开发能自动完成网页或桌面软件操作的数字助理
  • 构建企业级RPA(机器人流程自动化)的智能升级方案

替代项目

UI-TARS、OSWorld、MiniWob

上一篇:trainable-agents

下一篇:mathcode

同类项目推荐

SeekerClaw 开源

把手机变成24小时在线的个人AI代理,随时响应你的指令。

Turn your Solana Seeker (or any Android phone) into a 24/7 personal AI agent

★ 319 2026-08-09
agentos 开源

一套框架搞定记忆、工具锻造与多智能体协作,快速构建复杂 AI 应用。

TypeScript AI agent framework: cognitive memory, dynamic personalities, emergent beh···

★ 685 2026-08-09
fastapi_mcp 开源

把 FastAPI 接口一键变成 AI 能调用的 MCP 工具,带认证更安全。

Expose your FastAPI endpoints as Model Context Protocol (MCP) tools, with Auth!

★ 12028 2026-08-09
hivemind 开源

一个提示词,拉起整个 AI 工程团队,你只管躺平。

One prompt. A full AI engineering team. Go lie on the couch.

★ 114 2026-08-09
aibitat 开源

用 TypeScript 编排多智能体对话,搞定复杂任务。

Multi-Agent Conversation Framework in TypeScript

★ 152 2026-08-09
mcpet 开源

桌面宠物实时展示 AI 智能体状态与用量

MCP desktop companion for AI agent status, usage tracking, and everyday tools. Anyth···

★ 309 2026-11-04
superagentx 开源

策略驱动,统一管控,让AI智能体快速从想法到生产

Move from idea to production in hours with policy-driven autonomous AI agents. Unifi···

★ 207 2026-08-09
SE-Agent 开源

让代码代理自我进化,突破局部最优,登顶 SWE-bench。

SE-Agent is a self-evolution framework for LLM Code agents. It enables trajectory-le···

★ 291 2026-08-09