ha-llmvision

让 Home Assistant 看懂摄像头,自动触发智能场景

ha-llmvision 是一个将视觉语言模型(VLM)集成到 Home Assistant 的开源项目,旨在为家庭自动化系统赋予视觉理解能力。它解决了传统智能家居只能依赖传感器数据、无法理解图像内容的问题,使用户可以通过摄像头画面进行智能判断和自动化触发。核心能力包括:支持多种主流视觉模型(如 OpenAI、Google Gemini、本地 Ollama 等),可对摄像头流进行实时或定时分析,识别物体、人员、动作、场景等,并基于分析结果触发自动化规则。项目提供直观的配置界面,支持自定义提示词和模型参数,并可与 Home Assistant 的自动化引擎无缝集成,实现如“检测到宠物时发送通知”等场景。通过本地推理选项,也兼顾了隐私和延迟需求。

开源 free 开源模型
访问官网 ↗ GitHub ↗ 文档 ↗
GitHub 星标 ★ 1477
维护状态 活跃
是否开源
定价模式 free

项目数据

分类开源模型
开发团队valentinfrlch
所属国家
定价模式free
价格说明开源项目,Apache-2.0许可证,可免费使用和部署。
访问状态
是否开源
开源协议Apache-2.0
主要语言Python
技术栈/模型ai,cctv-detection,hacs-integration,home-assistant,llm,multimodal,notifications,smart-home,vision
GitHub 星标★ 1477
30天Star增速
HF 下载量
上线时间2024-05-14 00:00:00
最近更新2026-09-22 00:00:00
维护状态活跃
中文支持
访问方式
移动端支持
综合评分
收录时间2026-08-09
浏览次数1

使用教程

难度:入门 约 10 分钟 部署方式:本地安装 6 步

环境要求

  • 已安装并可正常运行的 Home Assistant
  • 已安装 HACS(LLM Vision 在默认 HACS 仓库中,可直接搜索安装)
  • Home Assistant Container 用户需要一个可挂载到容器 /media 的宿主机文件夹
  • 一个可用的 AI 提供商账号或本地推理服务(如 OpenAI、Google Gemini、Ollama 等)

安装与启动步骤

  1. 1在 HACS 中安装

    打开 HACS,搜索 LLM Vision 并安装。它已在默认 HACS 仓库中,无需手动添加自定义仓库。

  2. 2重启 Home Assistant

    安装完成后必须重启 Home Assistant,集成才会被加载。在 设置 → 系统 中执行重启。

  3. 3添加 LLM Vision 集成

    进入 设置 → 设备与服务,点击添加集成并搜索 LLM Vision。

  4. 4提交默认设置

    选择 LLM Vision 后直接按提交(submit),先用默认设置完成初步配置。

  5. 5准备 media 文件夹

    LLM Vision 使用更安全的 /media 目录存放快照。若用 Home Assistant Container,需在容器设置里把宿主机目录挂载到 /media,例如加上 -v /your/path:/media。

  6. 6添加 AI 提供商

    回到 LLM Vision 集成页面,点击 Add Entry 添加你的第一个 AI Provider,按官方文档填写对应参数。

关键配置

配置项必填说明示例
AI Provider在 LLM Vision 集成页面通过 Add Entry 添加的 AI 提供商Ollama
容器 /media 挂载Home Assistant Container 需把宿主机目录挂载到 /media 以存储快照-v /your/path:/media

如何确认成功

在 设置 → 设备与服务 中能看到 LLM Vision 集成,并且已成功添加至少一个 AI Provider 条目。

常见问题

Q:在 Home Assistant 里搜不到 LLM Vision 怎么办?

A:先确认已通过 HACS 安装该集成并重启了 Home Assistant,然后到 设置 → 设备与服务 → 添加集成 中搜索“LLM Vision”。

Q:支持哪些 AI 提供商?

A:支持 OpenRouter、OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure、Groq、Ollama、Open WebUI、LocalAI,以及任何提供 OpenAI 兼容接口的服务。

Q:摄像头快照保存在哪里?

A:存放在 /media 文件夹。如果你使用 Home Assistant Container,需要在容器设置中把一个宿主目录挂载到 /media。

Q:安装完成后下一步该做什么?

A:回到 LLM Vision 集成页面,点击 Add Entry 添加第一个 AI Provider,再进行摄像头与提示词配置。

注意事项

  • LLM Vision 已收录在默认 HACS 仓库中,可直接在 HACS 内安装,无需手动添加仓库地址。
  • 该集成可分析图片、视频文件、实时摄像头流以及 Frigate 事件,并可用 Timeline Card 在仪表盘上展示事件时间线。
  • 详细的提供商配置说明见官方文档:https://llm-vision.gitbook.io/getting-started/setup/providers
  • 官网:https://llmvision.org

核心亮点

  • 支持多种视觉模型(云端+本地),灵活适配不同隐私和成本需求
  • 与 Home Assistant 自动化深度集成,可基于视觉结果触发复杂规则
  • 配置界面友好,无需编写代码即可快速部署

不足之处

  • 依赖摄像头画质和模型精度,复杂场景下误报率可能较高
  • 本地推理需要较高硬件配置,入门门槛略高

适用场景

  • 家庭安防:检测陌生人或异常行为并推送警报
  • 宠物监控:识别宠物活动状态,自动投喂或提醒
  • 老人看护:检测跌倒或长时间未活动,及时通知家人

替代项目

Frigate、Double Take、Viseron

项目介绍

ha-llmvision 是计算机视觉领域的开源项目,由 valentinfrlch 开发,2024 年首次发布。

在全站 13,014 个收录项目中,它的 GitHub 星标数(1,477)位列前 30%,在计算机视觉分类中处于中上游。

近 42 天,它的 GitHub 星标从 1,421 增加到 1,477,净增 56。

项目目前处于活跃维护状态,最近一次代码更新于 2026-09-22。Apache-2.0许可证,可免费使用和部署。

它主要面向的使用场景是:家庭安防:检测陌生人或异常行为并推送警报。同类可对比的替代方案包括 Frigate、Double Take、Viseron。

上一篇:docstrange

下一篇:Sa2VA

同类项目推荐

modlens 开源

给纯文本编码代理装上眼睛,粘贴图片即刻获得结构化视觉证据。

The first vision plugin for DeepSeek Harness, and the vision bridge for every text-o···

★ 4019 2026-08-19
opencv 开源

开箱即用的视觉算法库,搞定图像视频处理与识别

Open Source Computer Vision Library

★ 90930 2026-08-10
OpenCVTutorials 开源

中文 OpenCV 教程,从入门到实战,边看边跑代码

OpenCV-Python4.1 中文文档

★ 1430 2026-08-20
DEIMv2 开源

用DINOv3做实时检测,又快又准,直接落地。

[DEIMv2] Real Time Object Detection Meets DINOv3

★ 2046 2026-08-14