本帖最后由 数据菊 于 2017-11-29 21:53 编辑

主题名:百度地图查地铁站1级(连续动作)→百度地图查地铁站2级→……3级→……4级→……5级
我想用百度地图查特定地点周围的地铁站,需要搜索地址→点击地址→点击“附近”→输入地铁→采集地铁→清空→搜索下一个地址
现在出问题的是在“百度地图查地铁站4级”,也就是在3级点击“附近”后输入“地铁站”。这个动作执行得这个关键词行,下一个关键词就不行了。甚至出现过,我刚把定位表达式从@id改成@class,这个关键词就可以。我激活线索再搜索一次,同样的关键词就不行了。反过来改也会出现这个诡异的情况。我在DS打数机的试抓窗口里爬,记下一个失败的一个成功的。我回到谋数台,特地去搜索输入框Xpath的绝对定位,发现完全一样,不存在网页结构变化。肉眼看也看不出来。但就是老是卡在那里。
并且因为搜索框那里需要清空才能搜下一个地址,不然搜索框会一直显示“在xxx附近搜索”。我把清空的动作定在5级主题,它老卡在4级主题那里,导致一个关键词失败,后面的关键词就全都搜不了了。
输入关键词后面是点击搜索,有时我看到那个放大镜的图标下都出现了“搜索”的标签,也就是说爬虫已经点击了搜索,就是没有输入关键词。
我都怀疑是我的爬虫出了问题,打开控制台看到一堆相同的错误信息。
卡死.JPG
错误.JPG
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-11-30 10:10

umsung 高级会员 发表于 2017-11-30 10:10:58 | 显示全部楼层
本帖最后由 umsung 于 2017-11-30 10:17 编辑

1,最好不要用绝对定位去写xpath,容易出错,把第四级规则的xpath改一下
2,从图片上看是规则在某一步动作出错了(也有可能是逻辑问题),把日志窗口打开,看是报什么错误,确认哪一步出了问题,再根据问题修改规则,日志窗口点击打数机下面的虚线
3,爬虫问题的话可以在官网重新下载一个最新的版本
7.jpg
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 02:54