本帖最后由 ybzhsq 于 2017-8-21 14:14 编辑



我想采集图片这样的,一个页面地址两个模块的,我想采集评论这个模块,直接设置的话采集不了,翻页翻不到。第一页能采集到,可是翻页采集不到。
他的下一页在评论的模块里,爬虫貌似无法找到这个下一页的标志。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-8-21 14:20

沙发
bowieD 金牌会员 发表于 2017-8-21 14:20:32 | 只看该作者
本帖最后由 bowieD 于 2017-8-21 15:00 编辑

这种情况下需要做模拟点击,在做抓取规则时需要做两级规则实现模拟点击,第一级规则负责点击,第二级规则负责抓取点击后显示的内容。在第一级规则的爬虫路线中设置记号线索,点击网页后,在同一爬虫窗口调用下一级规则进行抓取。模拟点击详情参考《模拟点击切花页面》模拟点击后要采取翻页后的内容,参考教程:《怎样抓取翻页内容》

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-7-12 11:04