项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
技术标签
使用教程
—
⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。
环境要求
- Node.js 与 TypeScript 运行环境(项目用 TypeScript 编写)
- 本地推理后端:llama.cpp 或 Ollama 等本地大模型
- 多模态模型(截图分析)或 OCR 能力的模型
- 浏览器需允许屏幕共享、通知、麦克风权限(用到音频传感器时)
- Docker 方式官方已标记为废弃,仅作备选
安装与启动步骤
-
1获取并启动应用
README 推荐使用 Observer App 进行本地推理;也可按官网 observer-ai.com 指引获取。Docker 方式已废弃,需另看 docker/DOCKER.md。
-
2打开 Agent Dashboard
进入 Agent Dashboard,这是创建和管理微智能体的主界面,创建、测试、上传都在这里完成。
-
3新建智能体
在 Dashboard 点击 Create New Agent 新建一个智能体,随后进入 Configuration 标签页填写信息。
-
4填写基础配置
在 Configuration 标签页填写名称、描述、所用模型和 loop interval(循环间隔),决定智能体的运行频率。
-
5设置系统提示词
为模型编写 system prompt,说明要观察什么、在什么条件下触发什么动作,例如“当我分心时打电话给我”。
-
6添加传感器
按需添加 Sensors:$SCREEN 截图、$SCREEN_OCR 屏幕文字、$CAMERA、$CLIPBOARD、$MEMORY 等,在提示词中引用。
-
7保存并测试
在 Dashboard 中保存并试运行,确认模型能读到传感器内容并按条件触发通知等工具。
-
8上传分享(可选)
调试满意后把智能体上传到社区,供其他人复用;注意其中不要包含个人隐私数据。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
name | 是 | 智能体名称,用于 Dashboard 中识别 | 分心提醒 |
description | 否 | 智能体用途说明 | 检测到我分心时打电话提醒 |
model | 是 | 使用的本地模型,需支持多模态或 OCR | ollama 本地多模态模型 |
loop interval | 是 | 循环观察间隔,决定多久截取分析一次屏幕 | 60 |
System Prompt | 是 | 告诉模型看什么、何时触发哪类工具 | 当屏幕上出现下载完成提示时,用 sendTelegram 通知我 |
Sensors | 是 | 传感器变量,决定智能体读取哪些输入 | $SCREEN |
如何确认成功
在 Dashboard 运行该智能体,能看到它按 loop interval 读取 $SCREEN 等内容并触发通知或输出,即视为工作正常。
常见问题
Q:一定要用 Docker 吗?
A:不需要。README 中 Docker 方案已标注为废弃(Deprecated),并推荐直接使用 Observer App 进行本地推理,Docker 细节另见 docker/DOCKER.md。
Q:数据会上传到云端吗?
A:项目强调使用本地模型,屏幕数据保持 100% 私密安全;但发送短信、邮件、Telegram 等通知工具本身会走外部服务。
Q:短信和电话为什么用不了?
A:sendSms、call、sendWhatsapp 需要白名单。按 README 说明,向 +1 (863)208-5341 发短信或电话、向 +1 (555)783-4727 发 WhatsApp 申请;短信因 A2P 政策在美国/加拿大被屏蔽。
Q:Telegram 的 chat_id 怎么拿?
A:先给 @observer_notification_bot 发消息,即可获得用于 sendTelegram 的 chat_id。
Q:音频传感器需要额外模型吗?
A:$MICROPHONE、$SCREEN_AUDIO、$ALL_AUDIO 使用 whisper 模型(基于 transformers.js),首次使用需等待模型加载。
注意事项
- README 未给出具体安装命令,本教程仅依据其 Dashboard 操作流程整理,请以官网 observer-ai.com 与仓库最新说明为准。
- 涉及屏幕、摄像头、麦克风的传感器需在浏览器中授予对应权限,部分浏览器会拦截通知。
- 通知类工具可能需要账号匹配,例如 sendEmail 必须使用已登录的邮箱。
- 屏幕数据敏感,上传智能体到社区前请确认提示词和记忆中不含隐私内容。
核心亮点
- 支持 llama.cpp、Ollama 等本地模型推理,屏幕数据不出本机,隐私友好
- 以屏幕持续观察为核心能力,可把视觉内容转成结构化信息,供智能体消费
- TypeScript 实现,便于前端/Node 开发者二次开发和集成到现有工具链
不足之处
- 持续截屏加本地推理对算力和内存占用较高,低配设备体验受限
- 项目较新、生态和文档完善度仍在成长,长期稳定性待观察
适用场景
- 个人知识工作者自动记录屏幕操作与信息,事后检索复盘
- 隐私敏感场景下的本地屏幕监控与行为分析
- 开发者基于屏幕观察结果构建自动化智能体工作流
替代项目
Open Interpreter、Screenpipe
上一篇:awesome-nuwa
下一篇:没有了!
同类项目推荐
xinchao-dynamic-mind
开源
给 AI 装上疲惫和欲望,让交互更真实
独立、可自托管的 AI 动态心智状态引擎:驱动力、念头池、疲惫、睡眠与意图。
geo-sleuth
开源
给 AI 装上地理侦探技能,一张照片顺藤摸瓜找到拍摄地
An agent skill that finds where a photo was taken — OpenStreetMap geometry, elevati···
goutoujunshi
开源
先哄情绪再出招,恋爱难题给可执行方案
一个先接住情绪、再分析关系并给出可执行策略的 Codex 恋爱军师,内置心理、法律、社会、人···
deepseek-harness
开源
把 AI 能力拆成乐高积木,拼出你的专属智能体。
DeepSeek Harness: Everything is a Plugin.
