
UI-TARS-desktop
让 AI 直接看屏幕、动鼠标,替你操作电脑
UI-TARS-desktop 是字节跳动开源的多模态 AI Agent 桌面栈,目标是把前沿视觉语言模型与 Agent 基础设施打通,让 AI 能像人一样操作电脑。它提供桌面客户端,支持通过自然语言指令控制本地应用、浏览器和文件系统,核心能力包括 GUI 操作(点击、输入、滚动)、浏览器自动化、MCP 协议接入、多模态理解与任务规划。项目同时包含 Agent TARS 框架和 UI-TARS 模型集成,开发者可以快速搭建能看屏幕、会操作、可扩展的智能体应用。相比纯 API 型 Agent,它更强调端到端的桌面级自动化,适合做个人助手、RPA 替代和 AI 操作系统的探索。
项目数据
使用教程
环境要求
- Node.js >= 22(README 明确要求,用于运行 @agent-tars/cli)
- 可用的 npm 环境(能执行 npm install -g 全局安装)
- 一个支持的模型服务商 API Key(示例为 volcengine 或 anthropic)
- 终端环境(README 示例均为 bash 命令)
安装与启动步骤
-
1确认 Node 版本
README 要求 Node.js >= 22,先检查本机版本,低于 22 需先升级 Node.js。
node -v -
2全局安装 CLI
通过 npm 全局安装 Agent TARS 命令行工具,安装后即可在任意目录执行 agent-tars。
npm install @agent-tars/cli@latest -g -
3用火山引擎模型运行
替换 your-api-key 为真实密钥后执行,即可用 doubao 视觉模型启动 Agent TARS。
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key -
4或改用 Anthropic 模型
如使用 Claude,换成对应的 provider 与 model 参数,apiKey 填 Anthropic 密钥。
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key -
5查看桌面端快速开始
UI-TARS-desktop 桌面客户端 README 只给出 docs/quick-start.md 链接,请按该文档安装。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
--provider | 是 | 指定模型服务商,README 示例为 volcengine 与 anthropic | volcengine |
--model | 是 | 指定该服务商下的模型名称 | doubao-1-5-thinking-vision-pro-250428 |
--apiKey | 是 | 模型服务商 API 密钥,需替换为真实值 | sk-xxxxxxxx |
如何确认成功
命令执行后终端进入 Agent TARS 交互界面并能正常返回模型响应,即启动成功。
常见问题
Q:执行 npm install 报 Node 版本不支持怎么办?
A:README 要求 Node.js >= 22,请先升级 Node.js(如使用 nvm 安装 22 及以上版本)后重新执行安装命令。
Q:除了 volcengine 和 anthropic,还支持哪些服务商?
A:README 只给出了 volcengine 与 anthropic 两个示例,其他服务商请参考官网 agent-tars.com 的 Quick Start 文档确认。
Q:如何安装 UI-TARS-desktop 桌面客户端?
A:README 未在节选中给出桌面端安装命令,仅指向仓库内 ./docs/quick-start.md,请打开该文档按步骤操作。
Q:apiKey 可以直接写进脚本或提交到仓库吗?
A:不建议。API Key 属于敏感凭证,示例中的 your-api-key 需替换为真实值并妥善保管,避免泄露。
注意事项
- README 节选只覆盖 Agent TARS CLI 的安装与运行,UI-TARS-desktop 桌面端安装步骤需查阅 ./docs/quick-start.md。
- 命令中的 your-api-key 是占位符,必须替换为真实密钥,否则无法调用模型。
- 模型名称与服务商需成对使用,勿把 anthropic 的模型名配到 volcengine 上。
核心亮点
- 提供完整桌面客户端,开箱即可用自然语言控制本地应用和浏览器
- 集成 MCP 协议,可灵活接入外部工具和数据源,扩展性强
- 背后有字节跳动 UI-TARS 视觉语言模型支持,GUI 理解与操作精度较高
不足之处
- 依赖视觉模型推理,对本地算力和网络环境有一定要求
- 桌面自动化在复杂动态界面下稳定性仍需打磨
适用场景
- 个人办公自动化:让 AI 自动整理文件、填写表单、操作后台系统
- 浏览器任务代理:自动搜索、比价、抓取信息并汇总
- 开发者构建 GUI Agent:基于该栈快速搭建能操作软件的多模态智能体
替代项目
Open Interpreter、AutoGPT
项目介绍
下一篇:docker-agent
同类项目推荐
xinchao-dynamic-mind
开源
给 AI 装上疲惫和欲望,让交互更真实
独立、可自托管的 AI 动态心智状态引擎:驱动力、念头池、疲惫、睡眠与意图。
deepseek-harness
开源
把 AI 能力拆成乐高积木,拼出你的专属智能体。
DeepSeek Harness: Everything is a Plugin.
AutoGPT
开源
开箱即用的 AI 员工,交代任务就自己干完
AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mis···
agent-manager
开源
一站式管理企业 AI 代理,部署治理全搞定
WSO2 AI Agent Manager is an open control plane designed for enterprises to deploy, m···