0 11039

采集京东商品图片攻略

ym 于 2015-11-12 18:17 发表 [复制链接]
本帖最后由 ym 于 2015-11-12 18:23 编辑

关于怎么做采集京东商品图片的规则,请参考帖子http://www.gooseeker.com/doc/thread-824-1-1.html
想要采集京东商品信息和图片的规则,可以去这里下载http://www.gooseeker.com/res/detail_98898.html ,下载规则后的使用方法参考http://www.gooseeker.com/doc/article-85-1.html

采集过程遇到的问题
采集京东商品信息和下载图片,DS打数机总是滚两三屏还没到底部就翻页了,每页采到10-30多个图片,每页的商品信息可以采到30-40多个,但是有10个左右是采集不到图片网址的,滚屏参数试了很多种组合,但是都滚两三屏就翻页了
QQ图片20151112180246.jpg QQ截图20151112180544.png
分析:
这种就是DS打数机窗口没滚到底部,图片网址都没显示出来就翻页造成的,观察发现,就算滚到底部,也是会漏几个商品。
电商网站大都是JS异步加载的,我们可以看到图片是要等待屏幕滚动到那里才会加载出来,所以,要抓到图片网址,就要等图片显示出来后,才能定位到@src节点,这种情况就要控制滚屏来实现了。

解决:
滚屏速度不要用大的正数,最多1,或者负的,可能就会缓解一些,经过试验,比较合理的滚屏参数组合是,滚屏次数:2  滚屏速度:1 。
PS:如果这种参数组合还是不行就要再调整参数组合了。
举报 使用道具
| 回复

共 0 个关于本帖的回复 最后回复于 2015-11-12 18:17

您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-16 14:54