AppAgent

让AI像人一样玩转手机App,自动完成各种操作任务

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 开源模型 🍴 复刻 760 🐛 待处理 99 👀 关注 75
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 6917
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,MIT许可证,完全免费,可自行部署使用。

项目预览

AppAgent 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类开源模型
开发团队TencentQQGYLab
定价模式🏷️完全免费
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议MIT
主要语言Python
技术栈/模型agent,chatgpt,generative-ai,gpt4,gpt4v,llm
GitHub 星标★ 6917
上线时间2023-12-20 00:00:00
代码更新2025-03-19
仓库体积2.9 MB
本站数据更新2026-11-10
维护状态低维护
收录时间2026-08-09
浏览次数6

项目介绍

AppAgent 是一个基于大语言模型的多模态智能体框架,旨在让 AI 像人类一样操作智能手机应用。它通过视觉感知屏幕内容,结合自然语言指令,自动完成点击、滑动、输入等操作,从而解决手机自动化测试、辅助操作等场景中的复杂任务。其核心能力包括:自主探索和学习新应用界面、生成可复用的操作脚本、以及通过视觉与文本的融合理解来适应动态变化的UI。项目采用纯Python实现,支持多模态输入,并提供了可视化界面用于监控智能体行为。目前该框架已能处理多种主流应用,展现出较强的泛化能力,为移动端自动化提供了新的范式。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 6917

使用教程

⚠ 本教程由 AI 依据该项目 README 整理;原始文档不完整,部分步骤为通用流程推断,实际安装请以项目官方文档为准。

难度:进阶 约 20 分钟 部署方式:本地安装 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目为纯 Python 实现)
  • 一台可用的 Android 设备或模拟器,用于运行待操作的目标 App
  • 可调用的多模态大模型:gpt-4-vision-preview 或 qwen-vl-max(README 明确提到这两者)
  • 已完成探索(Exploration)阶段的文档库,或在无文档库情况下运行(成功率不保证)

安装与启动步骤

  1. 1获取项目代码

    从官方 GitHub 仓库克隆 AppAgent 源码到本地,随后进入项目根目录操作。

    git clone https://github.com/TencentQQGYLab/AppAgent.git
    cd AppAgent
  2. 2安装项目依赖

    README 节选未给出依赖安装命令,请自行查看仓库中的依赖清单文件后安装 Python 依赖。

  3. 3配置多模态模型

    README 明确需使用 gpt-4-vision-preview 或 qwen-vl-max 作为智能体模型,请提前准备好对应模型的可调用凭证。

  4. 4完成探索阶段

    README 提到需先完成 Exploration 阶段以生成文档库;节选未给出该阶段的具体命令,请查阅仓库完整说明。

  5. 5运行部署阶段

    在项目根目录执行 run.py,按提示依次输入 App 名称、选择要使用的文档库并填写任务描述。

    python run.py
  6. 6确认无文档库时的选择

    若智能体未检测到该 App 已有的文档库,可选择不使用任何文档直接运行,但 README 提示成功率不保证。

如何确认成功

执行 python run.py 并按提示输入 App 名称与任务描述后,智能体自动开始识别屏幕并执行点击、滑动等操作即为启动成功。

常见问题

Q:可以用哪些模型驱动智能体?

A:README 的 Quick Start 说明可使用 gpt-4-vision-preview 或 qwen-vl-max 作为 agent 来完成 Android 应用上的指定任务。

Q:必须先生成文档库吗?

A:不是。智能体会自动检测该 App 是否已有文档库,没有时可选择不带文档运行,但 README 明确提示成功率不保证。

Q:支持哪些平台的应用?

A:README 节选的 Quick Start 以 Android 应用为例,未说明其他平台的安装与使用方法。

Q:运行报错怎么办?

A:README 提示若使用项目过程中遇到问题,可通过官方仓库的 issue 渠道反馈,建议附上环境与完整报错信息。

注意事项

  • 本教程仅依据 README 节选,节选只包含 Step 4 部署阶段,安装与探索阶段的完整命令请以官方仓库为准。
  • 运行前请确保 Android 设备已连接且屏幕可被正常截图识别。
  • 无文档库运行虽有兜底方案,但成功率不保证,建议先完成探索阶段生成文档库。

核心亮点

  • 无需修改App源码,通过视觉模仿人类操作,兼容性极强
  • 具备自主探索学习能力,能自动生成可复用的操作脚本
  • 提供可视化监控界面,调试和观察智能体行为非常直观

不足之处

  • 依赖大模型API,运行成本较高且响应延迟明显
  • 对复杂动态UI(如视频流)的适应能力有限,易误触

适用场景

  • 移动端自动化测试,快速回归验证App功能
  • 个人助理场景,自动完成订餐、打车等跨应用操作
  • 无障碍辅助,帮助视障用户通过语音控制手机

替代项目

AutoGPT、TaskWeaver、Mobile-Agent

上一篇:cursor-talk-to-figma-mcp

下一篇:DeepAudit

同类项目推荐

qwen-audio-agent 开源

让AI Agent边听边说边干活,实时语音不卡壳

A realtime voice runtime that keeps Agents talking, working, and present. Real-time···

★ 3191 2026-08-09
mouse-mcp 开源

让 AI 智能体用实体鼠标操作电脑

Hardware mouse MCP server for AI agents on Windows x64. USB HID control and voice di···

★ 211 2026-11-08
octocode 开源

让 AI 代理少花 token,快速找对代码上下文

Code research platform for AI agents; find, understand, and prove context across you···

★ 958 2026-08-09
agent-browser-mcp 开源

让 AI 直接上手真实 Chrome,自动完成网页操作。

让 Agent 直接操作真实 Chrome 的 MCP 服务,支持页面扫描、CDP、截图与物理输入

★ 244 2026-08-09
WorldLines 开源

用文件驱动事件,编排 AI 智能体构建会演化的活世界

Agents for Role Play. Agents for Game. Agents as a Game. An orchestrator-agents engi···

★ 114 2026-08-09
godmode 开源

几分钟搭好个人AI操作系统,指挥AI军团横扫日常琐事

Personal AI OS for Entrepreneurs. Ultimate OpenClaw setup in minutes. Experience fri···

★ 66 2026-08-09
raytsystem-public-os 开源

本地优先的智能体工作空间,让知识、任务与流程尽在掌控。

Local-first agent workspace for knowledge, tasks, documents and verifiable workflows···

★ 151 2026-08-09
hal-9000 开源

一键自动化 macOS 开发环境,AI 加持省心省力

Opinionated AI coding agent and dev environment automation for macOS

★ 143 2026-08-09