聚划算页面内容抓取不全

抓取网址  https://ju.taobao.com/tg/brand.htm?
建立了三层结构，第三层抓取具体内容，第二层做定位映射取代样例复制，因为每个方框的class都是brand-mid-v2，第一层做的是样例复制，因为class和id都在变，抓取不同的楼层信息，比如女装饰品，精品男士等等

在群里面问了也看到了页面代码，找到了原因，需要下来才可以看到到后面的内容，在DS里面各种调滚屏参数，并没有什么卵用，

于是用了新功能的那个滚屏动作，发现是可以抓到后面的内容，但是两个参数该怎么设定，小了会有海量重复内容，而且会特别的慢，大了会有很多内容抓取不到，那两个参数该怎么设定才可以做到，快速，不重不漏，或者小量重复，但是不能漏

落翎 发表于 2015-11-23 16:10
在群里面问了也看到了页面代码，找到了原因，需要下来才可以看到到后面的内容，在DS里面各种调滚屏参数，并 ...

是不是没有打开允许图片？

落翎 发表于 2015-11-23 16:12
于是用了新功能的那个滚屏动作，发现是可以抓到后面的内容，但是两个参数该怎么设定，小了会有海量重复内容 ...

连续滚屏的话，一定会出现重复内容，只能在导入excel或者导入数据库以后把重复内容过滤掉

Fuller 发表于 2015-11-23 16:35
连续滚屏的话，一定会出现重复内容，只能在导入excel或者导入数据库以后把重复内容过滤掉 ...

那就是慢慢试探，怎么调参数吗，问题是组合太多了，一般哪个值开始条比较好，或者有什么判断依据