weibo_terminater

一键抓取微博全量数据,评论、关注者全搞定

开源 🏷️完全免费 🔧 仅开源项目,无在线服务,需自行部署 对话助手 🍴 复刻 447 🐛 待处理 13 👀 关注 164
GitHub ↗
GitHub 星标 ★ 2317
维护状态 低维护
是否开源 开源
定价模式 🏷️完全免费 开源项目,完全免费,需自行部署使用。

项目预览

weibo_terminater 项目界面预览图
图片来源:GitHub 官方仓库名片

项目数据

分类对话助手
开发团队lucasjinreal
定价模式🏷️完全免费
价格说明开源项目,完全免费,需自行部署使用。
访问状态🔧 仅开源项目,无在线服务,需自行部署
是否开源是
主要语言Python
技术栈/模型chatbot,chinese,corpus,scraper,sina,weibo
GitHub 星标★ 2317
上线时间2017-04-13 00:00:00
代码更新2019-10-25
仓库体积166 KB
本站数据更新2026-11-09
维护状态低维护
收录时间2026-08-09
浏览次数5

项目介绍

weibo_terminater 是一个基于 Python 的微博数据爬虫工具,旨在高效、全面地抓取微博平台上的公开数据,包括微博内容、评论、关注者列表等。它解决了开发者、研究人员和数据分析师在获取微博数据时面临的接口限制、反爬机制复杂等问题,提供了一套稳定、可扩展的爬取方案。其核心能力包括支持多种数据类型的抓取、可配置的爬取策略、以及数据导出功能,方便用户将数据用于舆情分析、社交媒体研究、用户行为分析等场景。项目代码结构清晰,易于二次开发,适合需要大规模微博数据集的个人或团队使用。

Star 增长趋势

本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整

数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2317

技术标签

使用教程

ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。

难度:进阶 约 20 分钟 部署方式:本地安装 6 步

环境要求

  • Python 3 环境(README 明确说明实现基于 Python3)
  • FireFox 浏览器
  • geckodriver 驱动(安装到 /usr/bin 目录下)
  • 多个可用的微博账号(原 README 使用十几个账号轮换)
  • git 命令(用于克隆仓库)

安装与启动步骤

  1. 1克隆项目仓库

    从 GitHub 拉取 weibo_terminater 源码到本地,之后所有操作都在该目录内进行。

    git clone https://github.com/jinfagang/weibo_terminater.git
  2. 2安装 FireFox 驱动

    原 PhantomJS driver 已废弃,默认使用 FireFox 作为代理,需自行下载 geckodriver 并放到 /usr/bin 目录。

  3. 3配置微博账号

    在 settings/accounts.py 中填写多个微博账号,爬虫会在账号被 ban 后自动切换到下一个账号。

  4. 4配置 PhantomJS 路径

    如果仍使用 PhantomJS 自动获取 cookies,需把解压路径按说明写入 settings/config.py。

  5. 5爬取单个用户

    运行主程序并指定微博 id,id 支持数字 id 和字母 id,默认示例为 angelababy 的 realangelababy。

    python3 main.py -i realangelababy
  6. 6配置多用户爬取

    批量爬取时设置 settings/id_file 指向 id 列表文件,仓库内附有分类整理的 weibo_id.list 示例。

关键配置

配置项必填说明示例
settings/accounts.py是填写多个微博账号,爬虫被 ban 后自动切换下一个# 按文件内说明填入你的微博账号
settings/id_file否多用户批量爬取时指定待爬取的 id 列表文件weibo_id.list
settings/config.py否配置 PhantomJS 解压路径等参数/your/phantomjs/path

如何确认成功

运行 main.py 后检查 ./weibo_detail 目录,若按 id 分别生成了微博数据文件即表示爬取成功。

常见问题

Q:需要手动设置 cookies 吗?

A:不需要。按照 README 说明,只需在 accounts.py 里配置好账号,程序会自动获取 cookies,也可删掉 cookies 缓存手动更新。

Q:账号被微博封禁了怎么办?

A:项目支持断点续爬,会记住上次爬到的位置;账号被 ban 后直接换一个小号继续爬即可,无需从头开始。

Q:为什么一定要装 FireFox 和 geckodriver?

A:新版本已废弃 PhantomJS 的 driver,默认改用 FireFox 作为代理,因此需要 geckodriver,放到 /usr/bin 即可。

Q:爬取过程会被限速吗?

A:会。项目内置延时策略,每爬取 10 个页面暂停 5 分钟,但不能百分百保证账号不被 ban。

注意事项

  • README 声明本项目仅作为学术研究使用,其他用途引发的后果作者不承担任何责任。
  • 所有数据会保存到 ./weibo_detail 目录下,并按不同 id 分开存放。
  • README 未提供 requirements.txt 或 pip 安装依赖的命令,缺失的第三方库需按报错自行查找安装。
  • README 未给出 geckodriver 的下载地址,仅说明下载后放入 /usr/bin。

核心亮点

  • 覆盖微博内容、评论、关注者等多种数据类型,满足多场景数据需求
  • 基于 Python 实现,代码结构清晰,易于定制和扩展爬取逻辑
  • 提供可配置的爬取参数,能适应不同频率和深度的数据抓取需求

不足之处

  • 依赖微博网页结构,微博更新可能导致爬虫失效,需持续维护
  • 文档/社区待观察

适用场景

  • 舆情监控与热点事件分析
  • 社交媒体用户画像与关系网络研究
  • 学术研究中的微博语料采集

替代项目

WeiboSpider、weibo-crawler、scrapy-weibo

上一篇:UltraChat

下一篇:Dialog_Corpus

同类项目推荐

awesome-public-real-time-dataset··· 开源

一站找齐可公开访问的实时数据源,做流处理演示不再缺素材

A list of publicly available datasets with real-time data maintained by the team at ···

★ 2973 2026-11-02
aug-pe 开源

用大模型API生成隐私安全的合成文本数据

[ICML 2024 Spotlight] Differentially Private Synthetic Data via Foundation Model API···

★ 62 2026-08-09
WhatsMyName 开源

一个数据集,查遍全网用户名,OSINT 必备。

Community-maintained dataset of 700+ websites for finding accounts by username — po···

★ 3043 2026-08-10
RSIBench-Data 开源

一键生成代码评测数据并在沙箱里跑分

Synthetic data generation, post-training, and E2B benchmark evaluation infrastructur···

★ 181 2026-09-12
LLM-PuzzleTest 开源

用多模态谜题测出大模型推理短板

This repository is maintained to release dataset and models for multimodal puzzle re···

★ 122 2026-08-09
IEPile 开源

用2000万条高质量数据,让大模型更懂信息抽取。

[ACL 2024] IEPile: A Large-Scale Information Extraction Corpus

★ 214 2026-08-09
vietnamese-provinces-database 开源

一键获取越南省县乡数据,快速构建本地化地图应用。

Comprehensive SQL and GIS datasets for Vietnamese administrative units, including pr···

★ 1859 2026-08-10
Anime-Face-Dataset 开源

下载即用,快速训练动漫人脸生成模型

A collection of high-quality anime faces.

★ 434 2026-08-09
upgini 开源

一键搜索外部数据,自动增强 ML 特征,提升模型精度

Data search & enrichment library for Machine Learning → Easily find and add relevan···

★ 360 2026-08-09