原来1号店翻页很正常,但现在发现1号店的翻页也采取了动态网页技术,翻页时地址栏的url不会变化,所以只能采集第一页。请问fuller有什么办法可以实现翻页吗?
例如网页http://www.yihaodian.com/ctg/s2/c6627-%E7%BE%8E%E7%99%BD/1/,翻页过程中url就不会变化。
请看主题test_yhd,一号店的抓取方法很像卓越亚马逊,必须要设置AJAX抓取模式,否则,翻页到第二页就不往下翻了。DataScraper不要设置void脚本终点标志,用菜单“配置”->“终点标志”-〉“Void脚本”进行设置。
另外,商品图片采用了动态加载方式,如果还要抓取一号店的商品图片网址,需要打开自动滚屏功能
感谢fuller的回复。不过我在测试的时候发现,亚马逊和一号店的翻页还是有点区别的,在你给的test_yhd中,翻页进行一页便翻不下去了。一号店的href节点里没有有效的url,我们的测试主题是test_yhd2,不知fuller有没有时间加载一下帮我们看看,不胜感激!
我看到test_yhd2是拷贝test_yhd的,但是没有修改翻页的主题名,在Bucket Editor工作台上,需要将主题名改称test_yhd2,现在是test_yhd,这是不对的。因为你没有test_yhd的修改权限,就无法往下翻页了。
一号店翻页抓取方法
请看主题test_yhd,一号店的抓取方法很像卓越亚马逊,必须要设置AJAX抓取模式,否则,翻页到第二页就不往下翻了。DataScraper不要设置void脚本终点标志,用菜单“配置”->“终点标志”-〉“Void脚本”进行设置。
另外,商品图片采用了动态加载方式,如果还要抓取一号店的商品图片网址,需要打开自动滚屏功能
还是有问题
感谢fuller的回复。不过我在测试的时候发现,亚马逊和一号店的翻页还是有点区别的,在你给的test_yhd中,翻页进行一页便翻不下去了。一号店的href节点里没有有效的url,我们的测试主题是test_yhd2,不知fuller有没有时间加载一下帮我们看看,不胜感激!
需要修改翻页主题名
我看到test_yhd2是拷贝test_yhd的,但是没有修改翻页的主题名,在Bucket Editor工作台上,需要将主题名改称test_yhd2,现在是test_yhd,这是不对的。因为你没有test_yhd的修改权限,就无法往下翻页了。