Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容

没有做翻页部分, 需要用python去自己实现

怎么把爬虫路线的xslt加入到py脚本中呢，我需要实现翻页抓取lazyload的动态网页。现在在MS用滚屏动作和DS的延迟抓取都没有办法抓到网页上的所有条目，考虑写py脚本来实现。可以帮我看一下吗？示例网址：https://www.mercari.com/jp/searc ... mp;status_on_sale=1

gilmechen 发表于 2017-12-1 16:22
怎么把爬虫路线的xslt加入到py脚本中呢，我需要实现翻页抓取lazyload的动态网页。现在在MS用滚屏动作和DS的 ...

不需要用py脚本来实现，直接用爬虫软件制作规则就可以实现翻页抓取，需要用到样例复制和翻页，采集的时候在ds打数机内开启滚屏设置，采集的时候就会加载出动态页面。在ds打数机中-配置-》滚屏参数中设置，把次数设置大于0就会滚屏 ，把滚屏速度调慢一点。

umsung 发表于 2017-12-1 16:34
不需要用py脚本来实现，直接用爬虫软件制作规则就可以实现翻页抓取，需要用到样例复制和翻页，采集的时候 ...

我把滚屏速度设成0(应该是最慢了吧)还是只能抓到十几条数据

gilmechen 发表于 2017-12-1 18:03
我把滚屏速度设成0(应该是最慢了吧)还是只能抓到十几条数据

这种情况是要把滚屏次数设大，数字越大滚屏滚的越多

gilmechen 发表于 2017-12-1 18:03
我把滚屏速度设成0(应该是最慢了吧)还是只能抓到十几条数据

翻页我可以用集搜客实现，但是因为页面信息抓不全所以才考虑用python，然而用python的话又要写代码实现其他细节

wangyong 发表于 2017-12-1 18:05
这种情况是要把滚屏次数设大，数字越大滚屏滚的越多

滚屏次数设成50也没有明显效果

1，滚屏速度可以设置为可正可负的整数，-1、0和1相同，表示不变速。< -1 表示降低速度，> 1 表示提高速度。
2，把打数机-》配置中把延迟抓取和超时时长设置大一些
3，观察抓取不全的原因是因为滚屏动态加载而采集不全还是规则设置有问题，这种网页一般只要规则做对了，把滚屏次数设置大一些，滚屏速度设置慢一点就可以采集全。

4，因为这种动态加载页面是延迟加载的，要滚屏到那里才会加载，才能采集的到。所以在MS谋数台定义规则的时候，要先手工滚屏到底，看到内容节点都加载出来了，选择菜单 规则-》刷新页面结构，再开始做规则，点击测试的时候才能看到是否能采集完全。