home-assistant-datasets

用真实家居指令给大模型跑分,选型不靠猜

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 数据集 🍴 复刻 21 🐛 待处理 15 👀 关注 9
访问官网 ↗ GitHub ↗
GitHub 星标 ★ 274
维护状态 活跃
是否开源 开源
定价模式 🏷️完全免费 开源免费,数据集可自由使用

项目预览

home-assistant-datasets 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类数据集
开发团队allenporter
定价模式🏷️完全免费
价格说明开源免费,数据集可自由使用
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
开源协议Apache-2.0
主要语言Jupyter Notebook
技术栈/模型home-assistant,llm
GitHub 星标★ 274
上线时间2024-01-24 00:00:00
代码更新2026-11-04
仓库体积58.1 MB
本站数据更新2026-11-05
维护状态活跃
收录时间2026-09-21
浏览次数1

项目介绍

home-assistant-datasets 是 Home Assistant 官方生态下用于评估 AI 模型在智能家居场景中表现的数据集集合。它解决的核心问题是:大语言模型在控制家居设备、理解用户意图、生成自动化规则时缺乏统一、可复现的评测基准。项目提供结构化的任务样本,涵盖设备控制指令解析、状态查询、场景联动等典型交互,让开发者能横向对比不同模型(如 GPT、Claude、本地开源模型)在 Home Assistant 语境下的准确率与鲁棒性。数据以 Jupyter Notebook 形式组织,便于直接加载、跑分和可视化分析,也可作为微调或提示工程迭代的参考依据。整体定位偏评测工具而非训练数据,适合做模型选型、回归测试和学术研究。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 274

技术标签

核心亮点

  • 由 Home Assistant 官方团队维护,数据格式与 HA 生态天然对齐
  • 覆盖设备控制、状态查询、自动化等真实交互任务,评测维度贴近落地场景
  • 以 Notebook 组织,开箱即可跑评测和可视化,复现成本低

不足之处

  • 数据集规模和任务覆盖仍在早期,细分场景可能不足
  • 依赖 Home Assistant 环境与特定模型接口,纯离线评测需额外适配

适用场景

  • 对比 GPT、Claude 与本地模型在智能家居指令理解上的准确率
  • 为自研家居语音助手做回归测试,防止提示词改动导致能力退化
  • 学术研究中对 LLM 在 IoT 控制任务上的能力做基准评测

替代项目

AgentBench、ToolBench

上一篇:Nepali-Datasets

下一篇:ml-hypersim

同类项目推荐

awesome-NLP-resources 开源

一站式收藏NLP项目,告别东搜西找

a collection of NLP projects&tools. 自然语言处理方向项目和工具集合。

★ 240 2026-08-09
Awesome-Dataset-Distillation 开源

一页看全数据集蒸馏论文,快速入门与追新

A curated list of awesome papers on dataset distillation and related applications.

★ 1981 2026-09-21
dataset-serialize 开源

Pascal 数据集与 JSON 互转,一键搞定数据交换

JSON to DataSet and DataSet to JSON converter for Delphi and Lazarus (FPC)

★ 746 2026-08-10
mostlyai 开源

用差分隐私生成安全可用的合成数据,解决数据获取难题

Synthetic Data SDK ✨

★ 804 2026-09-08
freshqa 开源

测测你的AI模型,能否答对最新鲜的问题

Data and code for FreshLLMs (https://arxiv.org/abs/2310.03214)

★ 404 2026-08-09
market_prices 开源

一行代码拉取干净 OHLCV 行情,直接喂给 pandas 做回测

Get meaningful OHLCV datasets

★ 107 2026-09-21
awesome-data-centric-ai 开源

一站式收藏数据为中心AI的资源清单,快速找到提升数据质量的工具和方法。

Open-Source Software, Tutorials, and Research on Data-Centric AI

★ 358 2026-08-10
SDV 开源

把真实表格数据变成安全逼真的假数据,随便用不泄露隐私

Synthetic data generation for tabular data

★ 3589 2026-08-10
cv-dataset 开源

查 Common Voice 各语言版本元数据,一键定位训练语料

Metadata and versioning details for the Common Voice dataset

★ 178 2026-09-21