weibo_terminater

一键抓取微博全量数据，评论、关注者全搞定

weibo_terminater 是一个基于 Python 的微博数据爬虫工具，旨在高效、全面地抓取微博平台上的公开数据，包括微博内容、评论、关注者列表等。它解决了开发者、研究人员和数据分析师在获取微博数据时面临的接口限制、反爬机制复杂等问题，提供了一套稳定、可扩展的爬取方案。其核心能力包括支持多种数据类型的抓取、可配置的爬取策略、以及数据导出功能，方便用户将数据用于舆情分析、社交媒体研究、用户行为分析等场景。项目代码结构清晰，易于二次开发，适合需要大规模微博数据集的个人或团队使用。

开源 free 对话助手

访问官网 ↗ GitHub ↗ 文档 ↗

GitHub 星标 ★ 2316

维护状态低维护

是否开源是

定价模式 free

项目数据

分类对话助手

开发团队lucasjinreal

所属国家

官网地址

GitHubhttps://github.com/lucasjinreal/weibo_terminater

定价模式free

价格说明开源项目，完全免费，需自行部署使用。

访问状态

是否开源是

开源协议

主要语言Python

技术栈/模型chatbot,chinese,corpus,scraper,sina,weibo

GitHub 星标★ 2316

30天Star增速

HF 下载量

上线时间2017-04-13 00:00:00

最近更新2026-09-05 00:00:00

维护状态低维护

中文支持

访问方式

移动端支持

综合评分

收录时间2026-08-09

浏览次数4

使用教程

难度：进阶约 20 分钟部署方式：本地安装 6 步

环境要求

Python 3 环境（README 明确说明实现基于 Python3）
FireFox 浏览器
geckodriver 驱动（安装到 /usr/bin 目录下）
多个可用的微博账号（原 README 使用十几个账号轮换）
git 命令（用于克隆仓库）

安装与启动步骤

1克隆项目仓库

从 GitHub 拉取 weibo_terminater 源码到本地，之后所有操作都在该目录内进行。
```
git clone https://github.com/jinfagang/weibo_terminater.git
```
2安装 FireFox 驱动

原 PhantomJS driver 已废弃，默认使用 FireFox 作为代理，需自行下载 geckodriver 并放到 /usr/bin 目录。
3配置微博账号

在 settings/accounts.py 中填写多个微博账号，爬虫会在账号被 ban 后自动切换到下一个账号。
4配置 PhantomJS 路径

如果仍使用 PhantomJS 自动获取 cookies，需把解压路径按说明写入 settings/config.py。
5爬取单个用户

运行主程序并指定微博 id，id 支持数字 id 和字母 id，默认示例为 angelababy 的 realangelababy。
```
python3 main.py -i realangelababy
```
6配置多用户爬取

批量爬取时设置 settings/id_file 指向 id 列表文件，仓库内附有分类整理的 weibo_id.list 示例。

关键配置

配置项	必填	说明	示例
`settings/accounts.py`	是	填写多个微博账号，爬虫被 ban 后自动切换下一个	`# 按文件内说明填入你的微博账号`
`settings/id_file`	否	多用户批量爬取时指定待爬取的 id 列表文件	`weibo_id.list`
`settings/config.py`	否	配置 PhantomJS 解压路径等参数	`/your/phantomjs/path`

如何确认成功

运行 main.py 后检查 ./weibo_detail 目录，若按 id 分别生成了微博数据文件即表示爬取成功。

常见问题

Q：需要手动设置 cookies 吗？

A：不需要。按照 README 说明，只需在 accounts.py 里配置好账号，程序会自动获取 cookies，也可删掉 cookies 缓存手动更新。

Q：账号被微博封禁了怎么办？

A：项目支持断点续爬，会记住上次爬到的位置；账号被 ban 后直接换一个小号继续爬即可，无需从头开始。

Q：为什么一定要装 FireFox 和 geckodriver？

A：新版本已废弃 PhantomJS 的 driver，默认改用 FireFox 作为代理，因此需要 geckodriver，放到 /usr/bin 即可。

Q：爬取过程会被限速吗？

A：会。项目内置延时策略，每爬取 10 个页面暂停 5 分钟，但不能百分百保证账号不被 ban。

注意事项

README 声明本项目仅作为学术研究使用，其他用途引发的后果作者不承担任何责任。
所有数据会保存到 ./weibo_detail 目录下，并按不同 id 分开存放。
README 未提供 requirements.txt 或 pip 安装依赖的命令，缺失的第三方库需按报错自行查找安装。
README 未给出 geckodriver 的下载地址，仅说明下载后放入 /usr/bin。

核心亮点

覆盖微博内容、评论、关注者等多种数据类型，满足多场景数据需求
基于 Python 实现，代码结构清晰，易于定制和扩展爬取逻辑
提供可配置的爬取参数，能适应不同频率和深度的数据抓取需求

不足之处

依赖微博网页结构，微博更新可能导致爬虫失效，需持续维护
文档/社区待观察

适用场景

舆情监控与热点事件分析
社交媒体用户画像与关系网络研究
学术研究中的微博语料采集

替代项目

WeiboSpider、weibo-crawler、scrapy-weibo

项目介绍

weibo_terminater 是数据集领域的开源项目，由 lucasjinreal 开发，2017 年首次发布。

在全站 13,090 个收录项目中，它的 GitHub 星标数（2,316）位列前 30%，在数据集分类的 279 个项目里位列前 15%。

项目已超过三个月没有代码更新，维护节奏明显放缓，最近一次代码更新于 2026-09-05。完全免费，需自行部署使用。

它主要面向的使用场景是：舆情监控与热点事件分析。同类可对比的替代方案包括 WeiboSpider、weibo-crawler、scrapy-weibo。

上一篇：UltraChat

下一篇：Dialog_Corpus