请问为什么选择了爬取全部内容,始终无法全部采集

采集了好几次都会在某一个地方中断,我大约想采集3个月左右的数据,但是采集从今天开始采到3.9号就中断了
请问一下原因是什么啊,如何解决?


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2023-3-16 20:59

沙发
Fuller 管理员 发表于 2023-3-16 20:59:25 | 只看该作者
超话的网页很长,采集的时候对网络和计算机的要求比较高,所以采集的时候,最好不要让计算机忙别的事情。
如果断了,先把已经采集的数据打包下载。在数据表中,有一列数据是realpath字段,把最后一个realpath拷贝出来,粘贴到超话快捷工具,就可以从断掉的地方继续采集。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件
  • 遇到“无法识别的应用”告警怎么办?
  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词

热门用户

GMT+8, 2024-7-27 11:14