Observer

让本地 AI 替你盯屏幕,看懂并记录发生的一切

开源 unknown 智能体
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1656
维护状态 活跃
是否开源 是
定价模式 unknown

项目预览

项目数据

分类智能体
开发团队Roy3838
所属国家
定价模式unknown
价格说明定价信息待确认
访问状态
是否开源是
开源协议AGPL-3.0
主要语言TypeScript
技术栈/模型agent,agent-framework,agentic-ai,agents,ai-agent,ai-agents,llama-cpp,local-llm,ollama,privacy,screen-monitoring,transformers-js
GitHub 星标★ 1656
30天Star增速
HF 下载量
上线时间2025-02-05 00:00:00
代码更新—
仓库体积—
本站数据更新—
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-10-20
浏览次数0

项目介绍

Observer 是一个用 TypeScript 编写的开源 AI 智能体项目,核心思路是让计算机替你观察屏幕,而不是由人一直盯着。它通过持续截取并理解屏幕内容,结合本地大模型(支持 llama.cpp、Ollama 等)进行实时分析,把屏幕上发生的事转化为可理解、可检索的信息流。项目面向隐私敏感场景,强调本地推理,避免把屏幕数据上传云端。它可作为屏幕监控、行为记录、自动化触发的基础设施,也提供智能体框架能力,让开发者基于屏幕观察结果构建自己的 agent 工作流。适合想搭建本地化屏幕理解与自动化工具的个人开发者和小团队。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

正在加载星标数据…

技术标签

使用教程

—

难度:入门 约 10 分钟 部署方式:本地安装 8 步

⚠ 该项目 README 未提供完整安装说明,以下步骤为通用流程,请以官方文档为准。

环境要求

  • Node.js 与 TypeScript 运行环境(项目用 TypeScript 编写)
  • 本地推理后端:llama.cpp 或 Ollama 等本地大模型
  • 多模态模型(截图分析)或 OCR 能力的模型
  • 浏览器需允许屏幕共享、通知、麦克风权限(用到音频传感器时)
  • Docker 方式官方已标记为废弃,仅作备选

安装与启动步骤

  1. 1获取并启动应用

    README 推荐使用 Observer App 进行本地推理;也可按官网 observer-ai.com 指引获取。Docker 方式已废弃,需另看 docker/DOCKER.md。

  2. 2打开 Agent Dashboard

    进入 Agent Dashboard,这是创建和管理微智能体的主界面,创建、测试、上传都在这里完成。

  3. 3新建智能体

    在 Dashboard 点击 Create New Agent 新建一个智能体,随后进入 Configuration 标签页填写信息。

  4. 4填写基础配置

    在 Configuration 标签页填写名称、描述、所用模型和 loop interval(循环间隔),决定智能体的运行频率。

  5. 5设置系统提示词

    为模型编写 system prompt,说明要观察什么、在什么条件下触发什么动作,例如“当我分心时打电话给我”。

  6. 6添加传感器

    按需添加 Sensors:$SCREEN 截图、$SCREEN_OCR 屏幕文字、$CAMERA、$CLIPBOARD、$MEMORY 等,在提示词中引用。

  7. 7保存并测试

    在 Dashboard 中保存并试运行,确认模型能读到传感器内容并按条件触发通知等工具。

  8. 8上传分享(可选)

    调试满意后把智能体上传到社区,供其他人复用;注意其中不要包含个人隐私数据。

关键配置

配置项必填说明示例
name是智能体名称,用于 Dashboard 中识别分心提醒
description否智能体用途说明检测到我分心时打电话提醒
model是使用的本地模型,需支持多模态或 OCRollama 本地多模态模型
loop interval是循环观察间隔,决定多久截取分析一次屏幕60
System Prompt是告诉模型看什么、何时触发哪类工具当屏幕上出现下载完成提示时,用 sendTelegram 通知我
Sensors是传感器变量,决定智能体读取哪些输入$SCREEN

如何确认成功

在 Dashboard 运行该智能体,能看到它按 loop interval 读取 $SCREEN 等内容并触发通知或输出,即视为工作正常。

常见问题

Q:一定要用 Docker 吗?

A:不需要。README 中 Docker 方案已标注为废弃(Deprecated),并推荐直接使用 Observer App 进行本地推理,Docker 细节另见 docker/DOCKER.md。

Q:数据会上传到云端吗?

A:项目强调使用本地模型,屏幕数据保持 100% 私密安全;但发送短信、邮件、Telegram 等通知工具本身会走外部服务。

Q:短信和电话为什么用不了?

A:sendSms、call、sendWhatsapp 需要白名单。按 README 说明,向 +1 (863)208-5341 发短信或电话、向 +1 (555)783-4727 发 WhatsApp 申请;短信因 A2P 政策在美国/加拿大被屏蔽。

Q:Telegram 的 chat_id 怎么拿?

A:先给 @observer_notification_bot 发消息,即可获得用于 sendTelegram 的 chat_id。

Q:音频传感器需要额外模型吗?

A:$MICROPHONE、$SCREEN_AUDIO、$ALL_AUDIO 使用 whisper 模型(基于 transformers.js),首次使用需等待模型加载。

注意事项

  • README 未给出具体安装命令,本教程仅依据其 Dashboard 操作流程整理,请以官网 observer-ai.com 与仓库最新说明为准。
  • 涉及屏幕、摄像头、麦克风的传感器需在浏览器中授予对应权限,部分浏览器会拦截通知。
  • 通知类工具可能需要账号匹配,例如 sendEmail 必须使用已登录的邮箱。
  • 屏幕数据敏感,上传智能体到社区前请确认提示词和记忆中不含隐私内容。

核心亮点

  • 支持 llama.cpp、Ollama 等本地模型推理,屏幕数据不出本机,隐私友好
  • 以屏幕持续观察为核心能力,可把视觉内容转成结构化信息,供智能体消费
  • TypeScript 实现,便于前端/Node 开发者二次开发和集成到现有工具链

不足之处

  • 持续截屏加本地推理对算力和内存占用较高,低配设备体验受限
  • 项目较新、生态和文档完善度仍在成长,长期稳定性待观察

适用场景

  • 个人知识工作者自动记录屏幕操作与信息,事后检索复盘
  • 隐私敏感场景下的本地屏幕监控与行为分析
  • 开发者基于屏幕观察结果构建自动化智能体工作流

替代项目

Open Interpreter、Screenpipe

上一篇:awesome-nuwa

下一篇:没有了!

同类项目推荐

xinchao-dynamic-mind 开源

给 AI 装上疲惫和欲望,让交互更真实

独立、可自托管的 AI 动态心智状态引擎:驱动力、念头池、疲惫、睡眠与意图。

★ 215 2026-08-09
geo-sleuth 开源

给 AI 装上地理侦探技能,一张照片顺藤摸瓜找到拍摄地

An agent skill that finds where a photo was taken — OpenStreetMap geometry, elevati···

★ 3440 2026-09-25
goutoujunshi 开源

先哄情绪再出招,恋爱难题给可执行方案

一个先接住情绪、再分析关系并给出可执行策略的 Codex 恋爱军师,内置心理、法律、社会、人···

★ 8216 2026-09-25
deepseek-harness 开源

把 AI 能力拆成乐高积木,拼出你的专属智能体。

DeepSeek Harness: Everything is a Plugin.

★ 254032 2026-08-15