教程里面“层级抓取”,我用京东和本站测试,都没有问题。用在美团上就不行了。
美团有一个特点,列表页是瀑布流。下拉好几次,才能拉到下面。

美团列表页面:http://sh.meituan.com/category/meirong
任务目标:采集本地商户的名称、地址和电话。
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2016-1-13 20:46

沙发
Fuller 管理员 发表于 2016-1-13 18:59:02 | 只看该作者
长瀑布流,建议采用连续动作中的连续滚屏,而不是普通的自动滚屏。

很多瀑布流网页,滚屏到下面,上面的内容就从网页上删除了,所以不能用自动滚屏模式,等待滚到底才抓取会抓不全。而应该用连续滚屏,滚一屏抓一下。会有很多重复数据,但是不会漏掉
举报 使用道具
板凳
wcksd2 中级会员 发表于 2016-1-13 20:19:05 | 只看该作者
Fuller 发表于 2016-1-13 18:59
长瀑布流,建议采用连续动作中的连续滚屏,而不是普通的自动滚屏。

很多瀑布流网页,滚屏到下面,上面的内 ...

谢谢。我去找下相关知识,学习下。然后看看有啥收获。到时候再反馈下结果。
举报 使用道具
地板
Fuller 管理员 发表于 2016-1-13 20:46:59 | 只看该作者
wcksd2 发表于 2016-1-13 20:19
谢谢。我去找下相关知识,学习下。然后看看有啥收获。到时候再反馈下结果。 ...

连续动作的教程在这里:http://www.gooseeker.com/doc/article-141-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-24 11:37