快捷导航
3 250

爬虫失败

yogurt 于 2017-8-16 10:08 发表 [复制链接]
主题名;casualdress
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-8-16 11:35

shengchengx 金牌会员 发表于 2017-8-16 11:09:20 | 显示全部楼层
出什么问题了?
举报 使用道具
Fuller 管理员 发表于 2017-8-16 11:16:23 | 显示全部楼层
1,整理箱中ad这个抓取内容,跟其他的抓取内容不是在同一个商品上做映射,这个本来是不允许的。如果第一个商品没有ad,应该用自定义xpath做定位规则
2,可能是因为这个ad的原因,点击“爬数据”后,显示匹配失败。但是如果把DS打数机左边的主题列表隐掉以后,就能爬取成功,可能是窄屏的时候商品排列的规律不一样
3,我把翻页规则调整了一下,用span做定位映射,这样相当于把翻页区规定的很小,更加精准,只是适应性差一下。更精准的话,可以限制爬虫只点击span,而不是点击更大范围的a
定位20170816111506.png
举报 使用道具
yogurt 新手上路 发表于 2017-8-16 11:35:35 | 显示全部楼层
好的 ,那我把ad用自定义xpath做定位规则,还有如何把DS打数机左边的主题列表隐掉
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-11-22 06:54