本帖最后由 ybzhsq 于 2017-8-21 14:14 编辑



我想采集图片这样的,一个页面地址两个模块的,我想采集评论这个模块,直接设置的话采集不了,翻页翻不到。第一页能采集到,可是翻页采集不到。
他的下一页在评论的模块里,爬虫貌似无法找到这个下一页的标志。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-8-21 14:20

沙发
bowieD 金牌会员 发表于 2017-8-21 14:20:32 | 只看该作者
本帖最后由 bowieD 于 2017-8-21 15:00 编辑

这种情况下需要做模拟点击,在做抓取规则时需要做两级规则实现模拟点击,第一级规则负责点击,第二级规则负责抓取点击后显示的内容。在第一级规则的爬虫路线中设置记号线索,点击网页后,在同一爬虫窗口调用下一级规则进行抓取。模拟点击详情参考《模拟点击切花页面》模拟点击后要采取翻页后的内容,参考教程:《怎样抓取翻页内容》

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-8 17:04