
weibo_terminater
一键抓取微博全量数据,评论、关注者全搞定
项目预览
项目数据
项目介绍
Star 增长趋势
本站每日记录该项目 GitHub 星标变化,观测越久曲线越完整
数据来源:GitHub API 逐日快照 · 收录于 2026-08-09 · 当前星标 ★ 2317
使用教程
ℹ 本教程由 AI 依据该项目 README 整理,个别步骤可能需要按你的环境微调。
环境要求
- Python 3 环境(README 明确说明实现基于 Python3)
- FireFox 浏览器
- geckodriver 驱动(安装到 /usr/bin 目录下)
- 多个可用的微博账号(原 README 使用十几个账号轮换)
- git 命令(用于克隆仓库)
安装与启动步骤
-
1克隆项目仓库
从 GitHub 拉取 weibo_terminater 源码到本地,之后所有操作都在该目录内进行。
git clone https://github.com/jinfagang/weibo_terminater.git -
2安装 FireFox 驱动
原 PhantomJS driver 已废弃,默认使用 FireFox 作为代理,需自行下载 geckodriver 并放到 /usr/bin 目录。
-
3配置微博账号
在 settings/accounts.py 中填写多个微博账号,爬虫会在账号被 ban 后自动切换到下一个账号。
-
4配置 PhantomJS 路径
如果仍使用 PhantomJS 自动获取 cookies,需把解压路径按说明写入 settings/config.py。
-
5爬取单个用户
运行主程序并指定微博 id,id 支持数字 id 和字母 id,默认示例为 angelababy 的 realangelababy。
python3 main.py -i realangelababy -
6配置多用户爬取
批量爬取时设置 settings/id_file 指向 id 列表文件,仓库内附有分类整理的 weibo_id.list 示例。
关键配置
| 配置项 | 必填 | 说明 | 示例 |
|---|---|---|---|
settings/accounts.py | 是 | 填写多个微博账号,爬虫被 ban 后自动切换下一个 | # 按文件内说明填入你的微博账号 |
settings/id_file | 否 | 多用户批量爬取时指定待爬取的 id 列表文件 | weibo_id.list |
settings/config.py | 否 | 配置 PhantomJS 解压路径等参数 | /your/phantomjs/path |
如何确认成功
运行 main.py 后检查 ./weibo_detail 目录,若按 id 分别生成了微博数据文件即表示爬取成功。
常见问题
Q:需要手动设置 cookies 吗?
A:不需要。按照 README 说明,只需在 accounts.py 里配置好账号,程序会自动获取 cookies,也可删掉 cookies 缓存手动更新。
Q:账号被微博封禁了怎么办?
A:项目支持断点续爬,会记住上次爬到的位置;账号被 ban 后直接换一个小号继续爬即可,无需从头开始。
Q:为什么一定要装 FireFox 和 geckodriver?
A:新版本已废弃 PhantomJS 的 driver,默认改用 FireFox 作为代理,因此需要 geckodriver,放到 /usr/bin 即可。
Q:爬取过程会被限速吗?
A:会。项目内置延时策略,每爬取 10 个页面暂停 5 分钟,但不能百分百保证账号不被 ban。
注意事项
- README 声明本项目仅作为学术研究使用,其他用途引发的后果作者不承担任何责任。
- 所有数据会保存到 ./weibo_detail 目录下,并按不同 id 分开存放。
- README 未提供 requirements.txt 或 pip 安装依赖的命令,缺失的第三方库需按报错自行查找安装。
- README 未给出 geckodriver 的下载地址,仅说明下载后放入 /usr/bin。
核心亮点
- 覆盖微博内容、评论、关注者等多种数据类型,满足多场景数据需求
- 基于 Python 实现,代码结构清晰,易于定制和扩展爬取逻辑
- 提供可配置的爬取参数,能适应不同频率和深度的数据抓取需求
不足之处
- 依赖微博网页结构,微博更新可能导致爬虫失效,需持续维护
- 文档/社区待观察
适用场景
- 舆情监控与热点事件分析
- 社交媒体用户画像与关系网络研究
- 学术研究中的微博语料采集
替代项目
WeiboSpider、weibo-crawler、scrapy-weibo
上一篇:UltraChat
下一篇:Dialog_Corpus
同类项目推荐
awesome-public-real-time-dataset···
开源
一站找齐可公开访问的实时数据源,做流处理演示不再缺素材
A list of publicly available datasets with real-time data maintained by the team at ···
aug-pe
开源
用大模型API生成隐私安全的合成文本数据
[ICML 2024 Spotlight] Differentially Private Synthetic Data via Foundation Model API···
WhatsMyName
开源
一个数据集,查遍全网用户名,OSINT 必备。
Community-maintained dataset of 700+ websites for finding accounts by username — po···
RSIBench-Data
开源
一键生成代码评测数据并在沙箱里跑分
Synthetic data generation, post-training, and E2B benchmark evaluation infrastructur···
LLM-PuzzleTest
开源
用多模态谜题测出大模型推理短板
This repository is maintained to release dataset and models for multimodal puzzle re···
IEPile
开源
用2000万条高质量数据,让大模型更懂信息抽取。
[ACL 2024] IEPile: A Large-Scale Information Extraction Corpus
vietnamese-provinces-database
开源
一键获取越南省县乡数据,快速构建本地化地图应用。
Comprehensive SQL and GIS datasets for Vietnamese administrative units, including pr···
Anime-Face-Dataset
开源
下载即用,快速训练动漫人脸生成模型
A collection of high-quality anime faces.
upgini
开源
一键搜索外部数据,自动增强 ML 特征,提升模型精度
Data search & enrichment library for Machine Learning → Easily find and add relevan···