求教？相同网页结构但是部分内容稍有不同，如何解决？

店铺主页的菜单栏有多给选项，每个店家的选项稍有不同，导致同一个选项按钮的位置不同，如何设置规则？

我们常见的那些电商平台，每个店铺的菜单对应的网址都是相同规律构造出来的，所以，可以直接按照这个规则进行构造，不用专门采集每个菜单对应的网址。你是采集哪个网站？

Fuller 发表于 2017-1-31 15:31
我们常见的那些电商平台，每个店铺的菜单对应的网址都是相同规律构造出来的，所以，可以直接按照这个规则进 ...

想要抓取阿里巴巴店铺的联系方式！但是店铺主页的菜单栏都不太一样，不太好弄~

xiaohongseeker1 发表于 2017-1-31 17:53
想要抓取阿里巴巴店铺的联系方式！但是店铺主页的菜单栏都不太一样，不太好弄~
...

阿里巴巴所有店铺的联系方式都是这样的格式

1. https://xxxx.1688.com/page/contactinfo.htm

复制代码

前面的xxxx就是店铺在1688上的名字，就能根据名字构造出联系方式的网址

Fuller 发表于 2017-1-31 21:21
阿里巴巴所有店铺的联系方式都是这样的格式

前面的xxxx就是店铺在1688上的名字，就能根据名字构造出联系 ...

从关键字搜索页面可获得每个店铺主页的链接，那如何与店铺联系方式的网址进行拼接，使用自定义Xpath进行设置吗？

xiaohongseeker1 发表于 2017-1-31 21:47
从关键字搜索页面可获得每个店铺主页的链接，那如何与店铺联系方式的网址进行拼接，使用自定义Xpath进行 ...

把店铺主页的链接存入excel，在excel中拼接，excel有很多函数都能做这个事情

Fuller 发表于 2017-1-31 21:21
阿里巴巴所有店铺的联系方式都是这样的格式

前面的xxxx就是店铺在1688上的名字，就能根据名字构造出联系 ...

我现在用本办法做，对联系方式菜单出现的位置都做了一次，但是效率太低~

Fuller 发表于 2017-1-31 21:52
把店铺主页的链接存入excel，在excel中拼接，excel有很多函数都能做这个事情
...

不好意思，excel中已经将联系方式链接拼接好，接下来的步骤不是特别明白，是要将excel再变为xml格式才可以继续二级页面抓取吗？刚刚接触爬虫，不是特别明白。赐教，谢谢！

xiaohongseeker1 发表于 2017-1-31 22:56
不好意思，excel中已经将联系方式链接拼接好，接下来的步骤不是特别明白，是要将excel再变为xml格式才可 ...

拼接好以后，把所有网址放在excel的一列中，通过会员中心导入给抓取联系方式的规则

Fuller 发表于 2017-1-31 23:02
拼接好以后，把所有网址放在excel的一列中，通过会员中心导入给抓取联系方式的规则
...

好哒，还没有这么用过，明早起来继续试，非常感谢这么晚还耐心给予指导
另祝春节快乐