快捷导航
规则:AWS第二级抓取AWS第一级数据采集
出现的问题:AWS第二级抓取规则运行时候报错,49条有20几条报错,查了MS台,还是不知道原因,请截图说明一下,和要如何改
出现问题2:运行完2个工作台后,AWS第二级抓取数据导出后,标签“产品简介”和“类别1”内容抓取不到,查不到原因,请截图教一下我,谢谢~~
链接是:https://aws.amazon.com/marketplace/search/results?page=1&filters=fulfillment_options%2Caverage_rating&fulfillment_options=STACK&average_rating=100..500&searchTerms=
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2018-8-9 11:17

Fuller 管理员 发表于 2018-8-8 21:15:55 | 显示全部楼层
定位标志20180808211222.png

所有的都没有用定位标志映射,可以看到数据规则中全部是position函数,这种是绝对的定位方式,网页结构稍微变化就抓错了
举报 使用道具
gdzqlsr 新手上路 发表于 2018-8-9 09:52:18 | 显示全部楼层
在AWS第二级抓取的规则,怎么做定位标志映射呢,因为我没有找到有属性值(即id值或class值)
举报 使用道具
Fuller 管理员 发表于 2018-8-9 11:09:34 | 显示全部楼层
gdzqlsr 发表于 2018-8-9 09:52
在AWS第二级抓取的规则,怎么做定位标志映射呢,因为我没有找到有属性值(即id值或class值) ...

第一个抓取内容的定位标志就很好
定位标志20180809110857.png

举报 使用道具
Fuller 管理员 发表于 2018-8-9 11:12:46 | 显示全部楼层
定位标志20180809111026.png
第二个抓取内容,自己节点上有个class='title',搜索了一下,网页上有很多title,就不太合适,那就用上一级的那个class
举报 使用道具
Fuller 管理员 发表于 2018-8-9 11:17:01 | 显示全部楼层
另外,为什么要单独采集“类别1”和“类别2”
类别2 也有合适的定位标志

定位标志20180809111627.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 大型百货商场会员画像描绘
  • 自动导入导出数据
  • 批量爬取蘑菇街商品价格、评论信息
  • 微博用户数据分析
  • 批量爬取苏宁商品价格、评论信息

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2018-10-19 22:25