卡在第一页无法翻页问题

13371918736 发表于 2020-11-21 11:59
但这个太慢了，一分钟才抓一页。

如果，网页加载速度还行，可以把延迟时间设置小一些，会抓的快一些。

这个网站太慢了，如果延迟时间调小了，恐怕会有漏数据

Fuller 发表于 2020-11-21 14:17
这个网站太慢了，如果延迟时间调小了，恐怕会有漏数据

目前已經不是延遲時間的問題。我抓到一半的時候，數據打印機就不動了⋯⋯這個要怎麼破？

maomao 发表于 2020-11-21 12:30
如果，网页加载速度还行，可以把延迟时间设置小一些，会抓的快一些。

目前已經不是延遲時間的問題。我抓到一半的時候，數據打印機就不動了⋯⋯這個要怎麼破？

这个网站有时翻页很困难，断掉的那一页有独立网址，把这个网址添加到规则里，继续采集。
采集到的数据里有个字段是realpath，,把最后一个realpath添加到规则里，就可以从断点继续采集。