集搜客GooSeeker网络爬虫

标题: 翻页爬取速度特别慢是什么问题？ [打印本页]

作者: 稔哥 时间: 2020-1-15 11:27
标题: 翻页爬取速度特别慢是什么问题？
主题名：差评凤凰古城
如图，几个小时才翻了十几页，而且翻完之后循环出现“等待2、等待L”这样的提示，请问下是不是线索设置少了？
麻烦大神看下是哪里错误，蟹蟹~
[attach]11663[/attach]

作者: Fuller 时间: 2020-1-15 11:50
如果翻一页要等很久，通常是一分钟，因为缺省设置1分钟就超时，虽然等了很久但是数据还是采集下来了，说明需要提高速度，要设置一个参数，DS打数机菜单配置-》定时器触发，勾上就能提高速度。如果是单搜或者集搜，也就是手工启动的采集，这个方法是有效的。

如果是运行在爬虫群模式，设置菜单没有用，要设置下图的调度参数（缺省是勾上的，不用改）
[attach]11665[/attach]

如果已经翻页到最后了，但是停不下来，要设置DS打数机的菜单：高级-》终点标志-》重复内容。如果是爬虫群模式，看上图的第二个箭头，缺省也是勾上的

作者: 稔哥 时间: 2020-1-15 12:14

Fuller 发表于 2020-1-15 11:50
如果翻一页要等很久，通常是一分钟，因为缺省设置1分钟就超时，虽然等了很久但是数据还是采集下来了，说明 ...

解决了，非常感谢您！！！

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)