4 17883

淘宝详情页产品参数爬取

Junxin 于 2018-7-11 14:00 发表 [复制链接]
我把淘宝搜索页作为一级规则,产品详情页作为二级规则,然后两个规则分开运行,现在一级规则运行完了没有问题,二级规则运行之后日志提示抓取失败。二级主要是想要抓取淘宝详情页里面产品参数各个字段,求大神解答
2.png
1.png
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2021-10-18 15:40

wangyong 版主 发表于 2021-10-18 15:40:13 | 显示全部楼层
集搜客快捷采集中的淘宝商品参数采集,输入淘宝详情网址就可以直接采集产品参数。使用步骤如下:
1,安装集搜客数据管家,在左侧工具条中进入快捷采集。选择淘宝宝商品参数采集
QQ截图20211018152650.png
输入商品网址,点击获取数据按钮就可以采集数据了。
2,在快捷采集管理后台中看到采集任务的状态变为“已采集”后,点击打包按钮就可以下载Excel格式的数据了。
QQ截图20211018153605.png
3,结果数据
QQ截图20211018153943.png
举报 使用道具
bowieD 金牌会员 发表于 2018-7-11 14:11:19 | 显示全部楼层
本帖最后由 bowieD 于 2018-7-11 14:13 编辑

每个商品详情页里的产品参数字段都可能不一样,有些产品参数的字段数量多,有些产品参数的字段数量少,有些相同的参数位置则不一样,很难用一个同一个规则,需要找一个产品参数最多最全的页面做规则,并且用自定义xpath去给每一个参数字段做精准定位。
xpath用法《xpath常用函数用法》
举报 使用道具
Junxin 中级会员 发表于 2018-7-11 14:23:26 | 显示全部楼层
有没有xpath这种形式的案例可以参考的?小白看xpath的用法说明还是一脸懵逼
举报 使用道具
Fuller 管理员 发表于 2018-7-11 17:40:07 | 显示全部楼层
Junxin 发表于 2018-7-11 14:23
有没有xpath这种形式的案例可以参考的?小白看xpath的用法说明还是一脸懵逼

自定义xpath.png

页面右上角可以搜索 自定义xpath,能看到很多相关的教程,比如,https://www.gooseeker.com/tuto/t ... AE%9A%E4%B9%89xpath
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 08:22