2 9844

附件下载问题

lubbio 于 2019-5-27 16:02 发表 [复制链接]
在只有一层的规则下,附件链接如果含有字符'&'的是不是都只能下载成 .action拓展名的文件?之前做了几个规则好像都这样,如:
爬取的链接:http://cloud.gzqts.gov.cn/dfbz/d ... pdf&id=2165
原附件链接:http://cloud.gzqts.gov.cn/dfbz/d ... 8d2.pdf&id=2165

原爬取网页:http://cloud.gzqts.gov.cn/dfbz/search.action?keyWords=DB

在试用另一种方法把附件链接单独导入到下级线索,为什么不管在mime里按遍了不询问直接保存xxx ,在爬取的时候还是会弹出保存文件的窗口?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-5-28 09:20

ym 版主 发表于 2019-5-28 09:19:35 | 显示全部楼层
本帖最后由 ym 于 2019-5-28 09:26 编辑

爬虫采集到的网址中带有amp;这个不影响下载附件或者是下级线索的设置,因为服务器会把amp;转码为;
至于下载弹窗的问题,有些下载链接可能是mine类型没有支持到,就会弹出确认窗口,如果弹窗中可以勾选“以后自动采用相同的动作处理此类文件”,勾上以后就能解决,如果弹窗中不能勾这项,就要人工确认保存
举报 使用道具
Fuller 管理员 发表于 2019-5-28 09:20:32 | 显示全部楼层
应该是遇到了某个不认识的mime,正常情况下,点击一次保存,而且勾上后续类型都用保存操作,爬虫能记住的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 14:00