sim-use

让 AI 直接操控手机模拟器，自动看屏、点击、滑动

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署智能体 🍴 复刻 109 🐛 待处理 29 👀 关注 3

GitHub ↗

GitHub 星标 ★ 1533

维护状态较活跃

是否开源开源

定价模式 🏷️完全免费开源项目，Apache-2.0许可证，可自由使用，无付费版本。

项目预览

项目数据

分类智能体

开发团队lycorp-jp

GitHubhttps://github.com/lycorp-jp/sim-use

定价模式🏷️完全免费

价格说明开源项目，Apache-2.0许可证，可自由使用，无付费版本。

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议Apache-2.0

主要语言Swift

技术栈/模型accessibility,ai-agents,ai-development,android-emulator,ios-simulator,mobile-automation

GitHub 星标★ 1533

上线时间2026-06-26 00:00:00

代码更新2026-10-24

仓库体积2.9 MB

本站数据更新2026-11-09

维护状态较活跃

收录时间2026-08-09

浏览次数4

项目介绍

sim-use 是一个为 AI 智能体提供移动端操作能力的开源工具，让 AI 能像人一样在 iOS 模拟器和 Android 模拟器/真机上“看”和“操作”。它解决的是 AI 智能体缺乏对移动应用界面感知和交互能力的问题，通过无障碍服务（Accessibility）获取屏幕元素树，将界面状态转化为 AI 可理解的文本或结构化数据，并支持模拟点击、滑动、输入等操作。核心能力包括跨平台支持（iOS/Android）、实时屏幕解析、动作执行与反馈循环，为开发者在构建移动端自动化测试、智能助手、UI 验证等场景提供基础能力。项目采用 Swift 编写，轻量且易于集成，适合作为 AI 智能体与移动设备交互的桥梁。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 1533

技术标签

accessibility ai-agents ai-development mobile-automation

使用教程

⚠ 本教程由 AI 依据该项目 README 整理；原始文档不完整，部分步骤为通用流程推断，实际安装请以项目官方文档为准。

难度：入门约 10 分钟部署方式：命令行工具 4 步

⚠ 该项目 README 未提供完整安装说明，以下步骤为通用流程，请以官方文档为准。

环境要求

macOS 环境（需驱动 Apple Accessibility API 与 iOS Simulator，README 提到 iOS 模拟器与 Android
已安装并可正常启动的 iOS Simulator，或已连接的 Android 模拟器/真机
可用的终端环境（sim-use 是 CLI 工具）
Android 端需具备无障碍服务（AccessibilityService）能力

安装与启动步骤

1安装 sim-use CLI

README 的 Install 章节未给出具体安装命令，请以仓库最新说明或发布页为准；本教程不提供未经验证的安装命令。
2准备目标设备

先启动 iOS Simulator，或启动 Android 模拟器/连接 Android 真机，确保设备处于可交互状态，且能被 sim-use 识别。
3观察当前屏幕

运行 ui 子命令，把当前屏幕转成 token 高效的文本大纲，输出中会给出元素别名 @N、类型与文本。
```
sim-use ui
```
4按别名点击元素

从 ui 输出中挑一个别名执行 tap，无需坐标；执行成功会返回类似 Tap at (201.0, 452.0) 的结果。
```
sim-use tap @9
```

如何确认成功

执行 sim-use ui 能看到类似 “App: Settings 402x874” 加元素列表的输出；sim-use tap @9 返回 “✓ Tap ... completed successfully” 即成功。

常见问题

Q：sim-use 支持哪些平台？

A：支持 iOS Simulator，以及 Android 模拟器和 Android 真机，底层分别驱动 Apple Accessibility API、iOS Simulator HID 管线和 Android AccessibilityService。

Q：点击元素需要算坐标吗？

A：不需要。ui 命令会输出带别名的元素列表（如 @9），直接用 sim-use tap @9 即可，别名会被缓存复用。

Q：为什么这份教程没有安装命令？

A：README 的 Install 章节在节选中没有给出任何安装命令或包名，为避免误导，请以仓库最新安装说明为准。

Q：ui 输出的文本有什么用？

A：它是为 LLM 设计的紧凑屏幕大纲（按 Top/Content/Bottom 分区），便于智能体在几百毫秒内完成一轮“观察 → 操作”循环。

注意事项

README 的 Install 章节未提供安装命令，实际安装方式请以仓库最新文档为准。
tap 依赖 ui 产生的别名缓存，建议先执行 sim-use ui 再执行 sim-use tap @N。
README 另有 Physical iOS devices、Architecture、Viewer、Contributing 等章节，涉及真机与查看器的细节请查阅原文。