4 14297

数据爬取提示未知协议

ice冰冰糖 于 2018-12-10 17:09 发表 [复制链接]
之前写的一个规则已经能够顺利爬取数据,今天再用规则爬取会提示这个报错

只有在gooseeker浏览器里面打开后会跳转成短连接了,之前打开都没有跳转,现在用chrom浏览器打开也不会跳
在浏览器配置参数里面改了几个系统预留的浏览器还是会跳转,之前爬取数据都没跳转
这是改了什么东西吗,求助,给几个示例连接:
https://m.poizon.com/mdu/product/detail.html?id=18877&source=shareDetail
https://m.poizon.com/mdu/product/detail.html?id=18570&source=shareDetail
https://m.poizon.com/mdu/product/detail.html?id=18409&source=shareDetail

报错

报错
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-2-20 17:20

Fuller 管理员 发表于 2018-12-10 20:09:53 | 显示全部楼层
这个问题已经反馈给开发团队了,可能需要等待一段时间,因为目前的反馈说这个问题需要跟踪分析程序,暂时不知道跳转是怎样产生的
举报 使用道具
ice冰冰糖 初级会员 发表于 2018-12-10 20:19:23 | 显示全部楼层
Fuller 发表于 2018-12-10 20:09
这个问题已经反馈给开发团队了,可能需要等待一段时间,因为目前的反馈说这个问题需要跟踪分析程序,暂时不 ...

sad,这两天刚写好,开始跑数据,就gg了,如果有后续该问题的跟进状态,可以告知我一下吗,另外多问一下,等待一段时间,大概可能会多长时间呢
举报 使用道具
ice冰冰糖 初级会员 发表于 2018-12-10 20:31:30 | 显示全部楼层
Fuller 发表于 2018-12-10 20:09
这个问题已经反馈给开发团队了,可能需要等待一段时间,因为目前的反馈说这个问题需要跟踪分析程序,暂时不 ...

还有一个点给您说一下,我刚用八爪鱼可以爬下来,没有这个报错提示,用的浏览器是火狐手机版29.0(模拟手机访问),软件版本是最新版免费,使用火车头的,也和集搜有同样的报错提示,这个提示也是我今天才发现的,希望这个信息对你们追踪定位问题有帮助,用的一些爬虫软件,还是你们家的最好用,希望再接再厉!
举报 使用道具
Fuller 管理员 发表于 2019-2-20 17:20:54 | 显示全部楼层
ice冰冰糖 发表于 2018-12-10 20:31
还有一个点给您说一下,我刚用八爪鱼可以爬下来,没有这个报错提示,用的浏览器是火狐手机版29.0(模拟手 ...

有一种解决方案:
1,设置集搜客浏览器参数,如下图:
位置协议20190220171542.png
先输入网址about:config,然后输入筛选条件 page,双击那一行,就设置成false了。这样遇到未知协议就不会显示一个特殊的页面,但是会弹出一个对话框

2,因为对话框会中断爬虫的运行,如果是单搜,那么需要手工关闭弹出的对话框,如果是自动的爬虫群模式,设置关闭弹窗,会自动关闭
关闭20190220172005.png

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 02:30