为什么爬天猫的内容，登陆天猫的账号，爬200条左右，天猫账号自己掉线，爬的内容是多线索的

洪城县令

我登陆了，但是抓到200页左右就显示要登录，在浏览器刷新下，已经不是登录状态了。这个插件不是跟火狐共用的cookie吗，理论上插件访问也产生cookie的，所以内容不断更新，不应该掉线的啊

Fuller · 发表于 2016-1-5 23:30:31

是共用cookie，正常的话是会刷新登录状态的。但是，如果网站监测到这是不受欢迎的爬虫行为，网站可以下发一个让cookie失效的命令。

另外还要查找另一个原因，看看Firefox的隐私设置里面是否允许了cookie

落翎 · 发表于 2016-1-6 11:24:41

Fuller 发表于 2016-1-5 23:30
是共用cookie，正常的话是会刷新登录状态的。但是，如果网站监测到这是不受欢迎的爬虫行为，网站可以下发一 ...

是我这边看，还是你们那边处理

ym · 发表于 2016-1-6 14:47:13

在本地火狐浏览器的选项菜单里设置

gz51837844 · 发表于 2016-1-6 15:23:28

以前抓取淘宝的数据魔方也频繁碰到过无规律被踢出来的情况，感觉淘宝天猫的反扒是一大套组合拳

共 4 个关于本帖的回复最后回复于 2016-1-6 15:23

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页