bigset-oss

自托管实时数据集，网页 agent 自动抓取持续更新

开源 🏷️完全免费 🔧 仅开源项目，无在线服务，需自行部署数据集 🍴 复刻 204 🐛 待处理 45 👀 关注 19

GitHub ↗

GitHub 星标 ★ 1705

维护状态活跃

是否开源开源

定价模式 🏷️完全免费开源免费，可自托管

项目预览

项目数据

分类数据集

开发团队tinyfish-io

GitHubhttps://github.com/tinyfish-io/bigset-oss

定价模式🏷️完全免费

价格说明开源免费，可自托管

访问状态🔧 仅开源项目，无在线服务，需自行部署

是否开源是

开源协议AGPL-3.0

主要语言TypeScript

技术栈/模型bigset,open-source,tinyfish

GitHub 星标★ 1705

上线时间2026-05-15 00:00:00

代码更新2026-11-03

仓库体积16.2 MB

本站数据更新2026-11-05

维护状态活跃

收录时间2026-09-21

浏览次数2

项目介绍

bigset-oss 是 TinyFish 开源的 BigSet 自托管版本，用于构建和托管实时数据集。它解决的核心问题是：传统数据集往往静态、更新滞后，而很多业务场景需要持续从网页抓取最新信息并结构化存储。项目通过 TinyFish 的 web agents 自动浏览、提取网页内容，把结果写入可查询的数据集，让数据集像活水一样持续刷新。技术栈为 TypeScript，支持自行部署，数据不出自己的服务器。核心能力包括：定义抓取目标与字段、由 agent 执行采集、增量更新数据集、对外提供查询接口。适合需要实时网页情报、竞品监控、线索聚合等场景的团队，用开源方式替代闭源数据服务。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化，观测越久曲线越完整

数据来源：GitHub API 逐日快照 · 收录于 2026-09-21 · 当前星标 ★ 1705

技术标签

open-source

使用教程

难度：入门约 3 分钟部署方式：命令行工具 5 步

环境要求

Node.js 22 或更高版本（自带 npm）
访问 https://agent.tinyfish.ai/api-keys 获取 TinyFish API Key（用于网页搜索与抓取）
访问 https://openrouter.ai/settings/keys 获取 OpenRouter API Key（用于 LLM 调用）
无需 Docker

安装与启动步骤

1安装 BigSet CLI

README 的 Quick Start 第一步，全局安装官方 npm 包，安装后即可使用 bigset 命令。
```
npm install --global @adamexu/bigset
```
2启动 BigSet

该命令会下载当前本地版 BigSet release，并启动 Convex、后端、前端和本地凭证桥，随后打印应用地址。首次运行会较慢。
```
bigset
```
3打开浏览器访问

在浏览器中打开终端打印的应用地址，默认即 127.0.0.1:3500，即可进入 BigSet 界面。
4完成首次配置

首次启动会进入 setup 页面，需依次连接 TinyFish 和 OpenRouter 两个服务并填入各自的 API Key，Key 会保存到操作系统钥匙串。
5试用或临时运行

若不想全局安装，可用 npx 一次性运行；需要重新拉取最新缓存版本时加 --force。
```
npx @adamexu/bigset
```

关键配置

配置项	必填	说明	示例
`TinyFish API Key`	是	用于网页搜索和页面抓取，在 setup 页面填写	`tf-xxxxxxxxxxxxxxxx`
`OpenRouter API Key`	是	用于 schema 推断和 agent 的 LLM 调用	`sk-or-v1-xxxxxxxx`
`--app-port`	否	指定前端应用端口，默认 3500	`4500`
`--backend-port`	否	指定后端端口，需与 app 端口区分开	`4501`
`--home`	否	指定本地缓存目录，默认 ~/.bigset	`~/.bigset-dev`