如题,见图3

问题1.JPG (47.09 KB, 下载次数: 1169)

规则名

规则名

问题2.JPG (74.81 KB, 下载次数: 1187)

爬虫群

爬虫群

问题3.JPG (113.95 KB, 下载次数: 1218)

加载不出js

加载不出js
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2017-12-26 11:02

沙发
数据集二期 中级会员 发表于 2017-12-25 18:05:36 | 只看该作者
大众点评操作频繁有时候会封锁火狐和集搜客的useragent,如图所示,点击进去有个useragent列表,选择ie11或者其他ie的试试

511.png (2.35 KB, 下载次数: 1224)

511.png
举报 使用道具
板凳
Fuller 管理员 发表于 2017-12-25 18:06:26 | 只看该作者
换一下useragent试一下,大众点评网有时候封锁火狐和集搜客的useragent,可以参考这个文档:http://www.gooseeker.com/doc/article-314-1.html
从中选IE11或者其他IE的试试。


举报 使用道具
地板
cs3520 初级会员 发表于 2017-12-26 09:06:40 | 只看该作者
Fuller 发表于 2017-12-25 18:06
换一下useragent试一下,大众点评网有时候封锁火狐和集搜客的useragent,可以参考这个文档:http://www.goo ...

换过多个useragent,有的出现403,有的能加载网页但js还是出不来
举报 使用道具
5#
数据集二期 中级会员 发表于 2017-12-26 09:52:34 | 只看该作者
cs3520 发表于 2017-12-26 09:06
换过多个useragent,有的出现403,有的能加载网页但js还是出不来

操作太频繁了就会被封锁,我useragent用的gooseeker默认,现在运行你的规则没有任何问题,都可以加载出来,停一会清理cookies。
举报 使用道具
6#
cs3520 初级会员 发表于 2017-12-26 10:24:13 | 只看该作者
数据集二期 发表于 2017-12-26 09:52
操作太频繁了就会被封锁,我useragent用的gooseeker默认,现在运行你的规则没有任何问题,都可以加载出来 ...

已经清理了cookies,需要等多久才能开始抓?我用gooseeker默认依然是403

tu1.png (20.46 KB, 下载次数: 1241)

tu1.png
举报 使用道具
7#
数据集二期 中级会员 发表于 2017-12-26 11:02:40 | 只看该作者
cs3520 发表于 2017-12-26 10:24
已经清理了cookies,需要等多久才能开始抓?我用gooseeker默认依然是403

这个时间不确定,对于这种网站可以常换ip,我昨天运行时403,今天运行就可以了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-6 18:25