GooSeeker
产品
资源
教程
视频教程
使用交流
资讯
开启辅助访问
切换风格
请
登录
后使用快捷导航
没有帐号?
立即注册
登录
|
注册
快捷导航
资讯
常见问题
使用交流
python交流
视频教程
资源发布公告
数学建模交流
论坛
›
搜客社区
›
使用交流
1
10546
如何采集论坛的所有评论信息???
采矿车67号
于 2016-11-16 14:31
发表
[复制链接]
[只看楼主]
[打印]
[上一主题]
[下一主题]
采矿车67号
积分
17
精华
0
威望
6
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
论坛里有很多标题,点进每个标题都有很多评论,我想把标题的信息和评论都爬下来。假如论坛一共有100个标题,每个标题里面都有100个评论,那我就要爬下来10000条评论数据,并且每条评论数据都包含关于该评论的所有标题信息以及该评论的所有信息。
收藏
0
转播
支持
0
反对
0
举报
使用道具
|
回复
共 1 个关于本帖的回复 最后回复于 2016-11-16 15:00
xandy
积分
3345
精华
0
威望
1130
金钱
2
最后登录 1970-1-1
加为好友
发送消息
访问家园
个人资料
主题列表
发消息
沙发
xandy
论坛元老
发表于 2016-11-16 15:00:04
|
只看该作者
本帖最后由 xandy 于 2016-11-16 15:02 编辑
采集论坛的评论信息,我先讲下大概的思路,理解之后看看类似的教程就可以了。
比如说要抓我们论坛的帖子,先抓一个列表,加上样例复制就可以批量抓取每条帖子了
第一个规则:列表可以抓到标题、发帖人、发帖时间、浏览器和回复量等信息,最重要的是可以抓到每个帖子的独立网址,这个独立网址可以作为下级线索(引导我们去抓独立帖子里面的信息)
我们通过第一个规则到了每个帖子的独立页面,第二个规则建立两个整理箱,一个整理箱来装楼主的内容,一个整理箱来装评论的内容,第二个整理箱加上样例复制就可以批量抓取评论了
碰到陌生的名词不要紧,可以先参考这个教程:《
采网址做层级采集——以大众点评为例
》,对着操作一遍很快就会明白了
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有帐号?
立即注册
x
举报
使用道具
回复
支持
反对
返回列表
B
Color
Image
Link
Quote
Code
Smilies
高级模式
您需要登录后才可以回帖
登录
|
立即注册
发表回复
回帖并转播
回帖后跳转到最后一页
回复
推荐板块
使用交流
常见问题
数学建模交流
python交流
视频教程
精彩推荐
360或火绒等杀毒软件导致GooSeeker爬虫软件
话题分析(NMF模型和LDA模型)软件的安装和
运行Apple无法验证的程序的方法
文本聚类分析软件的安装和使用方法
利用AI阅读和分析文本:扣子COZE记录用户反
热门话题
1
【集微库】微博采集工具箱使用常见问题
2
怎样使用快捷采集(以采集京东评论为例)
3
集搜客文本分词标注工具(V1版)
4
有没有办法采集机场的出租车信息?
5
获得积分的好方法:转发小程序、QQ群、微信
6
【求助】关于采集阿里巴巴国际站访客详情分
7
GooSeeker分词,情感分析和关键词抽取平台使
8
新浪微博_博主主页
9
怎样采集抖音关键词搜索后的数据
10
集搜客GooSeeker 网络爬虫版本发布公告
热门用户
Fuller
帖子:10607
访问主页>>
wangyong
帖子:1732
访问主页>>
gbkuce
帖子:0
访问主页>>
GMT+8, 2025-4-25 14:50
快速回复
快速发帖
返回顶部
返回列表
共 1 个关于本帖的回复 最后回复于 2016-11-16 15:00