http://www.datatang.com/data/8038
账号 archlord1@126.com 密码longzhan7
这是网址  点击免费下载 会有一个窗口

我在连续动作下级主题里面输入了  新弹出窗口的网址  但是还是采集不到
在DS里面运行这个主题也会弹出新窗口
这个弹出的窗口地址不能拼接出来  所以不能用添加线索的方式 添加URL
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2016-10-10 22:19

沙发
dwjmdx210 新手上路 发表于 2016-4-5 22:38:33 | 只看该作者
我也是 问题,求教!
举报 使用道具
板凳
Fuller 管理员 发表于 2016-4-5 23:54:25 | 只看该作者
dwjmdx210 发表于 2016-4-5 22:38
我也是 问题,求教!

点击动作以后,如果显示的内容在新窗口里面,而且这个窗口没有独立的网址,浏览器窗口可能根本就不显示url地址栏,那么,这样的网页抓取是有难度的,可以做如下检查:
1,浏览器都有开发者工具,比如,按F12键,打开工具窗口以后,可以检测http消息,如果上述场景用的是post消息,那么当前版本抓取不了。
2,如果是get消息,那么就把这个网址记下来,录入到爬虫线索中就能抓取。

多数是上述情况1,要等V7.x版本解决这个问题
举报 使用道具
地板
ericliu2007 新手上路 发表于 2016-6-30 11:25:57 | 只看该作者
点击动作以后,如果显示的内容在新窗口里面,如果窗口可以显示url,那么如何作为一下个爬取主题入口地址呢?
举报 使用道具
5#
ym 版主 发表于 2016-6-30 11:31:19 | 只看该作者
ericliu2007 发表于 2016-6-30 11:25
点击动作以后,如果显示的内容在新窗口里面,如果窗口可以显示url,那么如何作为一下个爬取主题入口地址呢 ...

如果点击以后,弹出的新窗口有独立网址,那么就可以做出层级规则,把链接抓下来并设置下级线索,那么爬虫采集第一级规则时就会自动把抓到的链接导入到下级规则中,具体参见层级规则的教程http://www.gooseeker.com/doc/article-75-1.html
举报 使用道具
6#
LQX930107 中级会员 发表于 2016-10-10 22:03:09 | 只看该作者
Fuller 发表于 2016-4-5 23:54
点击动作以后,如果显示的内容在新窗口里面,而且这个窗口没有独立的网址,浏览器窗口可能根本就不显示ur ...

现在这种问题可以解决了么?
举报 使用道具
7#
Fuller 管理员 发表于 2016-10-10 22:18:41 | 只看该作者
LQX930107 发表于 2016-10-10 22:03
现在这种问题可以解决了么?

解决了,称为飞掠模式:http://www.gooseeker.com/doc/thread-2221-1-1.html
举报 使用道具
8#
Fuller 管理员 发表于 2016-10-10 22:19:28 | 只看该作者
现在用的很多,比如,抓取工商网站的企业信息信息,知识产权信息,都需要飞掠模式
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-27 09:04