AppAgent

让AI像人一样玩转手机App,自动完成各种操作任务

AppAgent 是一个基于大语言模型的多模态智能体框架,旨在让 AI 像人类一样操作智能手机应用。它通过视觉感知屏幕内容,结合自然语言指令,自动完成点击、滑动、输入等操作,从而解决手机自动化测试、辅助操作等场景中的复杂任务。其核心能力包括:自主探索和学习新应用界面、生成可复用的操作脚本、以及通过视觉与文本的融合理解来适应动态变化的UI。项目采用纯Python实现,支持多模态输入,并提供了可视化界面用于监控智能体行为。目前该框架已能处理多种主流应用,展现出较强的泛化能力,为移动端自动化提供了新的范式。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 6888
维护状态 低维护
是否开源
定价模式 free

项目数据

分类开源模型
开发团队TencentQQGYLab
所属国家
定价模式free
价格说明开源项目,MIT许可证,完全免费,可自行部署使用。
访问状态
是否开源
开源协议MIT
主要语言Python
技术栈/模型agent,chatgpt,generative-ai,gpt4,gpt4v,llm
GitHub 星标★ 6888
30天Star增速
HF 下载量
上线时间2023-12-20 00:00:00
最近更新2026-09-22 00:00:00
维护状态低维护
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数5

使用教程

难度:进阶 约 20 分钟 部署方式:本地安装 6 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Python 环境(项目为纯 Python 实现)
  • 一台可用的 Android 设备或模拟器,用于运行待操作的目标 App
  • 可调用的多模态大模型:gpt-4-vision-preview 或 qwen-vl-max(README 明确提到这两者)
  • 已完成探索(Exploration)阶段的文档库,或在无文档库情况下运行(成功率不保证)

安装与启动步骤

  1. 1获取项目代码

    从官方 GitHub 仓库克隆 AppAgent 源码到本地,随后进入项目根目录操作。

    git clone https://github.com/TencentQQGYLab/AppAgent.git
    cd AppAgent
  2. 2安装项目依赖

    README 节选未给出依赖安装命令,请自行查看仓库中的依赖清单文件后安装 Python 依赖。

  3. 3配置多模态模型

    README 明确需使用 gpt-4-vision-preview 或 qwen-vl-max 作为智能体模型,请提前准备好对应模型的可调用凭证。

  4. 4完成探索阶段

    README 提到需先完成 Exploration 阶段以生成文档库;节选未给出该阶段的具体命令,请查阅仓库完整说明。

  5. 5运行部署阶段

    在项目根目录执行 run.py,按提示依次输入 App 名称、选择要使用的文档库并填写任务描述。

    python run.py
  6. 6确认无文档库时的选择

    若智能体未检测到该 App 已有的文档库,可选择不使用任何文档直接运行,但 README 提示成功率不保证。

如何确认成功

执行 python run.py 并按提示输入 App 名称与任务描述后,智能体自动开始识别屏幕并执行点击、滑动等操作即为启动成功。

常见问题

Q:可以用哪些模型驱动智能体?

A:README 的 Quick Start 说明可使用 gpt-4-vision-preview 或 qwen-vl-max 作为 agent 来完成 Android 应用上的指定任务。

Q:必须先生成文档库吗?

A:不是。智能体会自动检测该 App 是否已有文档库,没有时可选择不带文档运行,但 README 明确提示成功率不保证。

Q:支持哪些平台的应用?

A:README 节选的 Quick Start 以 Android 应用为例,未说明其他平台的安装与使用方法。

Q:运行报错怎么办?

A:README 提示若使用项目过程中遇到问题,可通过官方仓库的 issue 渠道反馈,建议附上环境与完整报错信息。

注意事项

  • 本教程仅依据 README 节选,节选只包含 Step 4 部署阶段,安装与探索阶段的完整命令请以官方仓库为准。
  • 运行前请确保 Android 设备已连接且屏幕可被正常截图识别。
  • 无文档库运行虽有兜底方案,但成功率不保证,建议先完成探索阶段生成文档库。

核心亮点

  • 无需修改App源码,通过视觉模仿人类操作,兼容性极强
  • 具备自主探索学习能力,能自动生成可复用的操作脚本
  • 提供可视化监控界面,调试和观察智能体行为非常直观

不足之处

  • 依赖大模型API,运行成本较高且响应延迟明显
  • 对复杂动态UI(如视频流)的适应能力有限,易误触

适用场景

  • 移动端自动化测试,快速回归验证App功能
  • 个人助理场景,自动完成订餐、打车等跨应用操作
  • 无障碍辅助,帮助视障用户通过语音控制手机

替代项目

AutoGPT、TaskWeaver、Mobile-Agent

项目介绍

AppAgent 是智能体领域的开源项目,由 TencentQQGYLab 开发,2023 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(6,888)位列前 7%,在智能体分类的 2,499 个项目里位列前 7%。

近 41 天,它的 GitHub 星标从 6,844 增加到 6,888,净增 44。

项目已超过三个月没有代码更新,维护节奏明显放缓,最近一次代码更新于 2026-09-22。MIT许可证,完全免费,可自行部署使用。

它主要面向的使用场景是:移动端自动化测试,快速回归验证App功能。同类可对比的替代方案包括 AutoGPT、TaskWeaver、Mobile-Agent。

上一篇:cursor-talk-to-figma-mcp

下一篇:DeepAudit

同类项目推荐

xinchao-dynamic-mind 开源

给 AI 装上疲惫和欲望,让交互更真实

独立、可自托管的 AI 动态心智状态引擎:驱动力、念头池、疲惫、睡眠与意图。

★ 195 2026-08-09
deepseek-harness 开源

把 AI 能力拆成乐高积木,拼出你的专属智能体。

DeepSeek Harness: Everything is a Plugin.

★ 233327 2026-08-15
AutoGPT 开源

开箱即用的 AI 员工,交代任务就自己干完

AutoGPT is the vision of accessible AI for everyone, to use and to build on. Our mis···

★ 187492 2026-08-09
EvoAgentX 开源

让 AI 智能体自己迭代变强,越用越聪明

EvoAgentX: Building a Self-Evolving Ecosystem of AI Agents

★ 3351 2026-09-12