爬取数据时，明明规则对了，会有漏抓的情况？

规则做对了，在爬数据的时候，发现有些数据抓到了，有些数据没有抓到，请问这是什么原因造成的？有什么好的解决方法？

这种情况可能是网页还在加载，但抓取速度比较快，导致爬虫还没开始采集就跳过去了，建议勾选定时器触发。

漏抓的情况具体是哪种？会有不同的应对方式。
我能联想到的
1）列表页，比如，京东的某个品类的商品列表，或者搜索出来的商品列表，假设一共有40个商品，只抓到35个
2）独立网页抓取，比如，有100个网页要抓取，结果只抓取到95个网页内容
3）整理箱中的抓取内容不全，比如，定义了一个整理箱，一共有6个抓取内容，结果有5个有内容。

For数据 发表于 2015-12-29 10:38
这种情况可能是网页还在加载，但抓取速度比较快，导致爬虫还没开始采集就跳过去了，建议勾选定时器触发。 ...

定时器触发只能加剧漏抓

Fuller 发表于 2015-12-29 18:24
漏抓的情况具体是哪种？会有不同的应对方式。
我能联想到的
1）列表页，比如，京东的某个品类的商品列表， ...

可以具体讲讲是哪种漏抓，我们可以有针对性地提出解决方案

第一种情况

咋办

cwg1002 发表于 2017-3-20 09:58
咋办

这种有可能是网页加载不完全就开始采集了，导致采集不完整，可以试试设置一下打数机的延迟抓取


一般设置5秒足够了

还是漏，自定义xpath能彻底解决问题吗？

求回复！