sim-use

让 AI 直接操控手机模拟器，自动看屏、点击、滑动

sim-use 是一个为 AI 智能体提供移动端操作能力的开源工具，让 AI 能像人一样在 iOS 模拟器和 Android 模拟器/真机上“看”和“操作”。它解决的是 AI 智能体缺乏对移动应用界面感知和交互能力的问题，通过无障碍服务（Accessibility）获取屏幕元素树，将界面状态转化为 AI 可理解的文本或结构化数据，并支持模拟点击、滑动、输入等操作。核心能力包括跨平台支持（iOS/Android）、实时屏幕解析、动作执行与反馈循环，为开发者在构建移动端自动化测试、智能助手、UI 验证等场景提供基础能力。项目采用 Swift 编写，轻量且易于集成，适合作为 AI 智能体与移动设备交互的桥梁。

开源 free 智能体

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 1367

维护状态活跃

是否开源是

定价模式 free

项目数据

分类智能体

开发团队lycorp-jp

所属国家

官网地址

GitHubhttps://github.com/lycorp-jp/sim-use

定价模式free

价格说明开源项目，Apache-2.0许可证，可自由使用，无付费版本。

访问状态

是否开源是

开源协议Apache-2.0

主要语言Swift

技术栈/模型accessibility,ai-agents,ai-development,android-emulator,ios-simulator,mobile-automation

GitHub 星标★ 1367

30天Star增速

HF 下载量

上线时间2026-06-26 00:00:00

最近更新2026-09-23 00:00:00

维护状态活跃

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数3

使用教程

难度：入门约 10 分钟部署方式：命令行工具 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

macOS 环境（需驱动 Apple Accessibility API 与 iOS Simulator，README 提到 iOS 模拟器与 Android
已安装并可正常启动的 iOS Simulator，或已连接的 Android 模拟器/真机
可用的终端环境（sim-use 是 CLI 工具）
Android 端需具备无障碍服务（AccessibilityService）能力

安装与启动步骤

1安装 sim-use CLI

README 的 Install 章节未给出具体安装命令，请以仓库最新说明或发布页为准；本教程不提供未经验证的安装命令。
2准备目标设备

先启动 iOS Simulator，或启动 Android 模拟器/连接 Android 真机，确保设备处于可交互状态，且能被 sim-use 识别。
3观察当前屏幕

运行 ui 子命令，把当前屏幕转成 token 高效的文本大纲，输出中会给出元素别名 @N、类型与文本。
```
sim-use ui
```
4按别名点击元素

从 ui 输出中挑一个别名执行 tap，无需坐标；执行成功会返回类似 Tap at (201.0, 452.0) 的结果。
```
sim-use tap @9
```

如何确认成功

执行 sim-use ui 能看到类似 “App: Settings 402x874” 加元素列表的输出；sim-use tap @9 返回 “✓ Tap ... completed successfully” 即成功。

常见问题

Q：sim-use 支持哪些平台？

A：支持 iOS Simulator，以及 Android 模拟器和 Android 真机，底层分别驱动 Apple Accessibility API、iOS Simulator HID 管线和 Android AccessibilityService。

Q：点击元素需要算坐标吗？

A：不需要。ui 命令会输出带别名的元素列表（如 @9），直接用 sim-use tap @9 即可，别名会被缓存复用。

Q：为什么这份教程没有安装命令？

A：README 的 Install 章节在节选中没有给出任何安装命令或包名，为避免误导，请以仓库最新安装说明为准。

Q：ui 输出的文本有什么用？

A：它是为 LLM 设计的紧凑屏幕大纲（按 Top/Content/Bottom 分区），便于智能体在几百毫秒内完成一轮“观察 → 操作”循环。

注意事项

README 的 Install 章节未提供安装命令，实际安装方式请以仓库最新文档为准。
tap 依赖 ui 产生的别名缓存，建议先执行 sim-use ui 再执行 sim-use tap @N。
README 另有 Physical iOS devices、Architecture、Viewer、Contributing 等章节，涉及真机与查看器的细节请查阅原文。

核心亮点

基于无障碍服务，无需修改目标应用即可获取界面元素，兼容性好
同时覆盖 iOS 模拟器和 Android 模拟器/真机，跨平台实用
提供清晰的 API 设计，便于 AI 智能体快速集成操作能力

不足之处

文档/社区待观察
依赖系统无障碍服务，部分场景下可能受权限或系统限制

适用场景

AI 驱动的移动端自动化测试，自动执行 UI 操作并验证结果
构建智能体助手，让 AI 帮助用户完成手机上的复杂任务
移动应用的无障碍测试，检查界面元素可访问性

替代项目

Appium、Maestro、XCUITest

项目介绍

sim-use 是自动化工作流领域的开源项目，由 lycorp-jp 开发，是 2026 年新上线的项目。

在全站 13,090 个收录项目中，它的 GitHub 星标数（1,367）位列前 30%，在自动化工作流分类中处于中上游。

近 42 天，它的 GitHub 星标从 1,173 增加到 1,367，净增 194。

项目目前处于活跃维护状态，最近一次代码更新于 2026-09-23。Apache-2.0许可证，可自由使用，无付费版本。

它主要面向的使用场景是：AI驱动的移动端自动化测试，自动执行UI操作并验证结果。同类可对比的替代方案包括 Appium、Maestro、XCUITest。

上一篇：open-dynamic-workflows

下一篇：nudgebee