集搜客GooSeeker网络爬虫

标题: 抓取中途电脑关机会不会影响数据的完整性 [打印本页]

作者: TonyJiang 时间: 2016-10-10 11:34
标题: 抓取中途电脑关机会不会影响数据的完整性
爬虫模式抓取过程中电脑自动重启了会影响抓取数据的完整性么？

作者: quyixuan 时间: 2016-10-10 11:35
抓取中的线索会漏掉需要重新激活这些线索

作者: TonyJiang 时间: 2016-10-10 11:35

quyixuan 发表于 2016-10-10 11:35
抓取中的线索会漏掉需要重新激活这些线索

会标记为失败线索么？
抓取中的线索

作者: quyixuan 时间: 2016-10-10 11:35

TonyJiang 发表于 2016-10-10 11:35
会标记为失败线索么？
抓取中的线索

不会就是抓取中

作者: TonyJiang 时间: 2016-10-10 11:35

quyixuan 发表于 2016-10-10 11:35
不会就是抓取中

那激活失败线索后再爬是不是可以补完数据？

作者: quyixuan 时间: 2016-10-10 11:36

TonyJiang 发表于 2016-10-10 11:35
那激活失败线索后再爬是不是可以补完数据？

是的

作者: TonyJiang 时间: 2016-10-10 11:38

quyixuan 发表于 2016-10-10 11:36
是的

[attach]1833[/attach]
超时的那些线索如何补全？
激活失败线索后再运行爬虫么？

作者: quyixuan 时间: 2016-10-10 11:38

TonyJiang 发表于 2016-10-10 11:38
超时的那些线索如何补全？
激活失败线索后再运行爬虫么？

是的

作者: TonyJiang 时间: 2016-10-10 11:38

quyixuan 发表于 2016-10-10 11:38
是的

集搜模式和爬虫模式的哪些功能有区别？
我以为集搜就是爬虫群

作者: quyixuan 时间: 2016-10-10 11:38

TonyJiang 发表于 2016-10-10 11:38
集搜模式和爬虫模式的哪些功能有区别？
我以为集搜就是爬虫群

集搜只是开多一个窗口爬虫群可以开多个窗口

作者: TonyJiang 时间: 2016-10-10 11:39

quyixuan 发表于 2016-10-10 11:38
集搜只是开多一个窗口爬虫群可以开多个窗口

集搜只能根据主题名个数开启爬虫窗口数量是吧
一个主题名一个集搜窗口

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)