快捷导航
规则名:微博_热门1,微博_热门2,微博_热门3,麻烦帮我看一下关联的是否正确,怎么第一个规则爬取的时候没反应。
举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2019-9-28 23:12

Fuller 管理员 发表于 2018-10-10 17:08:12 | 显示全部楼层
没有看到 微博_热门3 与前面规则的关系。

一般不这样采集的,全部用连续动作,中间万一断了就失败了。应该用层级采集
第一级采集微博列表,同时采集到每个微博的地址
第二级进入每个微博,采集评论,翻页采集
举报 使用道具
zhenghy 中级会员 发表于 2018-10-10 17:59:52 | 显示全部楼层
第一级怎么采集微博的地址,它是点击评论,再点击‘查看更多’才能进入评论,有的评论少的就没有'查看更多'
举报 使用道具
Fuller 管理员 发表于 2018-10-10 18:20:18 | 显示全部楼层
zhenghy 发表于 2018-10-10 17:59
第一级怎么采集微博的地址,它是点击评论,再点击‘查看更多’才能进入评论,有的评论少的就没有'查看更多' ...

第一级采集微博列表,每条微博的发布时间是一个超链接,那个就是微博详情页网址,把这个网址采集下来,作为第二级的线索。具体参看:https://www.gooseeker.com/doc/article-343-1.html

第二级就是微博详情页,一旦打开,其实下面显示的就是评论,你在这级直接定义采集评论的规则就行,再定义翻页,翻页不要用连续动作,用这个:https://www.gooseeker.com/doc/article-334-1.html
举报 使用道具
zhenghy 中级会员 发表于 2018-10-11 13:52:49 | 显示全部楼层
你好,我已经改过来了,但是效果不行,麻烦你帮我再看一下,规则名‘微博_热门1’,怎么爬取几秒就不爬了,而且爬取的几个文件一样
举报 使用道具
zhenghy 中级会员 发表于 2018-10-11 16:52:47 | 显示全部楼层
有人吗
举报 使用道具
Fuller 管理员 发表于 2018-10-11 18:35:05 | 显示全部楼层
举报 使用道具
zhenghy 中级会员 发表于 2018-10-11 19:19:19 | 显示全部楼层
滚动一会出现查看更多怎么搞
举报 使用道具
Fuller 管理员 发表于 2018-10-11 19:47:36 | 显示全部楼层
zhenghy 发表于 2018-10-11 19:19
滚动一会出现查看更多怎么搞

“查看更多”跟“下一页”一样
举报 使用道具
会飞的老鲸鱼 初级会员 发表于 2019-9-28 21:48:35 | 显示全部楼层
Fuller 发表于 2018-10-10 17:08
没有看到 微博_热门3 与前面规则的关系。

一般不这样采集的,全部用连续动作,中间万一断了就失败了。应该 ...

您好微博第一级我采集到了他们各自的链接,但是第二级别采集评论,不是做新规则吗,得输入新的显示评论的网址,可是那个微博打不开
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 内容分析法中的抽样
  • 豆瓣电影的情感分析
  • 一本在线图书——社交网络分析介绍
  • 网络爬虫采集html片段时无法生成结果文件怎
  • 网络爬虫占满了c盘怎么清理

热门用户

GMT+8, 2020-1-25 11:01