集搜客GooSeeker网络爬虫

标题: 亚马逊个人页面全部评论爬取时自动滚屏和连续滚屏均失效 [打印本页]

作者: 17826856648 时间: 2020-6-15 21:13
标题: 亚马逊个人页面全部评论爬取时自动滚屏和连续滚屏均失效
网页链接为：
https://www.amazon.com/-/zh/gp/p ... rp_d_gw_btm?ie=UTF8
规则名为“用户个人评论爬取”，分别设置了自动滚屏和连续滚屏，滚屏次数设置了10，但新的数据均不加载，只能爬取前10条数据。这是为什么？如何操作？

作者: Fuller 时间: 2020-6-15 23:23
你这个规则我搜不到，规则名对吗？

作者: 17826856648 时间: 2020-6-16 09:33

Fuller 发表于 2020-6-15 23:23
你这个规则我搜不到，规则名对吗？

刚刚分享出来了，规则名为“用户历史评论爬取”
个人主页地址：http://www.gooseeker.com/secure/ ... ew/share533323.html

作者: Fuller 时间: 2020-6-16 09:47

17826856648 发表于 2020-6-16 09:33
刚刚分享出来了，规则名为“用户历史评论爬取”
个人主页地址：http://www.gooseeker.com/secure/me/1782 ...

我没有登录亚马逊，只能看到10条评论，你在爬虫浏览器中预先登录了亚马逊吗？

作者: 17826856648 时间: 2020-6-16 10:44

Fuller 发表于 2020-6-16 09:47
我没有登录亚马逊，只能看到10条评论，你在爬虫浏览器中预先登录了亚马逊吗？
...

登陆了的，评论内容区是JS，在GS浏览器中也是下拉滚屏到页尾会有新的评论出现，但是DS打数机里滚屏却没有新评论出现。

作者: Fuller 时间: 2020-6-16 22:49
如果用集搜客网络爬虫加载网页有问题，可以用网络爬虫做好规则以后，使用集搜客数据管家运行规则。

集搜客数据管家的下载网址：https://www.gooseeker.com/pro/product_note_firefox.html

运行规则的方法参看：https://www.gooseeker.com/doc/article-515-1.html

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)