爬虫群老是报错啊

Fuller 发表于 2017-7-18 07:47
网站可能把你屏蔽了。清cookies，最好也换一下IP。爬一个网站的时候，一台机器最多开5个爬虫。太多了，网站 ...

mac版的哪里清除 我找不到

你的爬虫版本太老了，什么时候下载的？下载安装个新版本吧。

如果不想下载安装最新版本，参照这篇帖子清cookies  
http://www.gooseeker.com/doc/thread-4610-1-1.html

Fuller 发表于 2017-7-18 07:58
你的爬虫版本太老了，什么时候下载的？下载安装个新版本吧。

我下了新版本 也清除了 就是没有换ip地址 因为我就这台电脑 也就开了5个打数机
问题还是存在啊

换个IP吧，或者通过VPN访问，IP就变了

或者，换一下user agent

Fuller 发表于 2017-7-18 08:21
或者，换一下user agent

我改了 问题还是存在 怎么办啊 好奔溃

joanne 发表于 2017-7-18 08:45
我改了 问题还是存在 怎么办啊 好奔溃

一会负责采集数据的同事上班了，我让他跟你联系一下， 协助你采集，比如，帮你采集一部分，你采集一部分。针对一个网站，避免在短时间内很大量地采集，即使要采集，也要分散到多台电脑上

Fuller 发表于 2017-7-18 09:04
一会负责采集数据的同事上班了，我让他跟你联系一下， 协助你采集，比如，帮你采集一部分，你采集一部分 ...

什么时候能上班 我这里已经凌晨2点了