本帖最后由 shyc126 于 2017-3-24 10:43 编辑

http://www.tianyancha.com/company/293414440
这个页面中爬取招投标信息,使用了飞掠模式,我的规则是tyc_search_result_detail_ztb



无法抓取点击后的详细页面,一直停留在下面这儿

请问怎么解决,是我做的规则有问题吗?
我是按照http://www.gooseeker.com/doc/article-349-1.html这个帖子来做的


举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-3-24 22:34

沙发
Fuller 管理员 发表于 2017-3-24 13:02:22 | 只看该作者
最后一个截图是点击后的详细信息吗?如果是,那么就不应该用飞掠模式,因为点击后的内容还在DS打数机窗口中运行,没有在弹出的浏览器窗口中。

如果我上面这句分析的正确的话,那么你需要的是回退动作,最后一级抓取完详情以后要回退到上一级的页面
举报 使用道具
板凳
shyc126 中级会员 发表于 2017-3-24 13:21:10 | 只看该作者
Fuller 发表于 2017-3-24 13:02
最后一个截图是点击后的详细信息吗?如果是,那么就不应该用飞掠模式,因为点击后的内容还在DS打数机窗口中 ...

最后一个图是第一个规则的浏览内容,点链接才会出现弹出一个新页面,是第二个规则要抓取的内容

举报 使用道具
地板
Fuller 管理员 发表于 2017-3-24 22:34:21 | 只看该作者
shyc126 发表于 2017-3-24 13:21
最后一个图是第一个规则的浏览内容,点链接才会出现弹出一个新页面,是第二个规则要抓取的内容

...

我刚才又测试了一遍,我做了一点改动,就是第一级的连续动作工作台上,设置了高级选项,增加了额外延时3秒,为了增加一个等待时间,测试是正常的。如果你只看到“飞掠等待”,那是没有点击上。



天眼查页面有些特别,红框区域经常会垂下来,把要点击的内容盖住,如果屏幕比较小,就会盖住,可以在高级设置中,把“模拟点击”去掉试试。模拟点击的话,一定要把被点击的目标显示在最前面
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 17:07