我是三层采集的,列表(主题名:EBAY_CO_UK_list),页面(主题名:EBAY_CO_UK_item),销售记录(主题名:EBAY_CO_UK_history)

我的销售记录的网址是通过页面里面的某个链接进行下线线索进行采集的,但这个链接所对应的抓取内容(商品销量)每个页面不太一样,所以我对这个主题名做了两个规则,但进行自动采集的时候很多页面采集失败了,能帮我看看什么原因不?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-5-12 15:29

沙发
Fuller 管理员 发表于 2019-5-12 15:16:42 | 只看该作者
我加载了EBAY_CO_UK_history,但是看到只有一个抓取内容,抓整个html,这样就不会有失败了的。但是这样就不是精确地按字段抓取了。

如果按字段抓取,容易失败,应该做上定位标志映射,参看:https://www.gooseeker.com/doc/article-344-1.html
举报 使用道具
板凳
Fuller 管理员 发表于 2019-5-12 15:29:39 | 只看该作者




对比上面两图,如果我做规则的话,我会用红色箭头指向的那个class值作为定位标志映射,映射给“商品销量”。

但是通过对比两图,发现两个的class值不一样,那么我会点击“测试按钮”,看到生成的数据规则,把抓取“商品销量”的xpath表达式拷出来,编辑一下,只取两个都有的class值的内容,用contains()函数让两边通用,用自定义xpath的方法让规则通用。

另外,要点击“定位”按钮,查看缺省选择的偏好id是否合适,下图可见,偏好id的时候,生成xpath很长,有很多position函数,网页结构稍微不同就失效了。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件
  • 遇到“无法识别的应用”告警怎么办?

热门用户

GMT+8, 2024-9-8 07:41