携程评论数据采集问题

任务名：携程评论数据采集
问题：1、在抓取的过程中，提示抓取成功，但速度太慢，尝试勾上定时器触发参数
2、上传xml打包的压缩包，导出后数据大量重复
主要是第一个问题，如何解决，看论坛其他人说，勾选后可能会导致一个页面没采集完就跳到下一页了，数据抓取不全，请问是否会有这样的情况

DS打数机菜单 配置-》定时器触发，勾上以后就能解决这个问题

我用你的规则采集了一些，没有发现重复。如果网络比较慢，担心采集太早了，可以这样设置

如果是手工启动的爬虫，那么，使用DS打数机菜单 配置-》延迟抓取 ，设置延迟抓取，我测试的时候设置了5秒

如果是爬虫群方式，设置调度参数的时候设置延迟抓取

Fuller 发表于 2020-7-5 17:07
我用你的规则采集了一些，没有发现重复。如果网络比较慢，担心采集太早了，可以这样设置

如果是手工启动的 ...

延迟抓取和定时触发这两个都勾上吗，还有一个问题，延迟抓取5秒设置后，会出现数据抓取不全的问题吗

boyistar 发表于 2020-7-5 17:40
延迟抓取和定时触发这两个都勾上吗，还有一个问题，延迟抓取5秒设置后，会出现数据抓取不全的问题吗
...

可以一起设置。延迟抓取设置了固定的数字，到底这个时间够不够，是不能自适应调整的，所以，也不可能保证一个不漏。为了尽量不漏，应该设置的时间长一点