聚划算页面内容抓取不全

落翎 · 2015-11-23 16:05 上传

抓取网址 https://ju.taobao.com/tg/brand.htm?
建立了三层结构，第三层抓取具体内容，第二层做定位映射取代样例复制，因为每个方框的class都是brand-mid-v2，第一层做的是样例复制，因为class和id都在变，抓取不同的楼层信息，比如女装饰品，精品男士等等

落翎 · 发表于 2015-11-23 16:10:03

在群里面问了也看到了页面代码，找到了原因，需要下来才可以看到到后面的内容，在DS里面各种调滚屏参数，并没有什么卵用，

落翎 · 发表于 2015-11-23 16:12:26

于是用了新功能的那个滚屏动作，发现是可以抓到后面的内容，但是两个参数该怎么设定，小了会有海量重复内容，而且会特别的慢，大了会有很多内容抓取不到，那两个参数该怎么设定才可以做到，快速，不重不漏，或者小量重复，但是不能漏

Fuller · 发表于 2015-11-23 16:34:36

落翎发表于 2015-11-23 16:10
在群里面问了也看到了页面代码，找到了原因，需要下来才可以看到到后面的内容，在DS里面各种调滚屏参数，并 ...

是不是没有打开允许图片？

Fuller · 发表于 2015-11-23 16:35:23

落翎发表于 2015-11-23 16:12
于是用了新功能的那个滚屏动作，发现是可以抓到后面的内容，但是两个参数该怎么设定，小了会有海量重复内容 ...

连续滚屏的话，一定会出现重复内容，只能在导入excel或者导入数据库以后把重复内容过滤掉

落翎 · 发表于 2015-11-23 17:03:37

Fuller 发表于 2015-11-23 16:35
连续滚屏的话，一定会出现重复内容，只能在导入excel或者导入数据库以后把重复内容过滤掉 ...

那就是慢慢试探，怎么调参数吗，问题是组合太多了，一般哪个值开始条比较好，或者有什么判断依据

共 5 个关于本帖的回复最后回复于 2015-11-23 17:03

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页