快捷导航
规则:AWS第二级抓取AWS第一级数据采集
出现的问题:AWS第二级抓取规则运行时候报错,49条有20几条报错,查了MS台,还是不知道原因,请截图说明一下,和要如何改
出现问题2:运行完2个工作台后,AWS第二级抓取数据导出后,标签“产品简介”和“类别1”内容抓取不到,查不到原因,请截图教一下我,谢谢~~
链接是:https://aws.amazon.com/marketplace/search/results?page=1&filters=fulfillment_options%2Caverage_rating&fulfillment_options=STACK&average_rating=100..500&searchTerms=
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2018-8-9 11:17

Fuller 管理员 发表于 2018-8-8 21:15:55 | 显示全部楼层
定位标志20180808211222.png

所有的都没有用定位标志映射,可以看到数据规则中全部是position函数,这种是绝对的定位方式,网页结构稍微变化就抓错了
举报 使用道具
gdzqlsr 新手上路 发表于 2018-8-9 09:52:18 | 显示全部楼层
在AWS第二级抓取的规则,怎么做定位标志映射呢,因为我没有找到有属性值(即id值或class值)
举报 使用道具
Fuller 管理员 发表于 2018-8-9 11:09:34 | 显示全部楼层
gdzqlsr 发表于 2018-8-9 09:52
在AWS第二级抓取的规则,怎么做定位标志映射呢,因为我没有找到有属性值(即id值或class值) ...

第一个抓取内容的定位标志就很好
定位标志20180809110857.png

举报 使用道具
Fuller 管理员 发表于 2018-8-9 11:12:46 | 显示全部楼层
定位标志20180809111026.png
第二个抓取内容,自己节点上有个class='title',搜索了一下,网页上有很多title,就不太合适,那就用上一级的那个class
举报 使用道具
Fuller 管理员 发表于 2018-8-9 11:17:01 | 显示全部楼层
另外,为什么要单独采集“类别1”和“类别2”
类别2 也有合适的定位标志

定位标志20180809111627.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明
  • 集搜客网络爬虫软件实现自动网页截屏
  • 怎样使用搜狐新闻搜索列表快捷工具抓取关键
  • 用于清洗文本内容的Excel函数公式

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2019-7-18 01:31