QQ截图20161108180609.png
像这种翻页,怎么设置
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-11-8 22:23

HJLing 版主 发表于 2016-11-8 18:07:54 | 显示全部楼层
直接对next做记号线索不可以吗?具体可以贴网址出来测试
举报 使用道具
Fuller 管理员 发表于 2016-11-8 22:23:12 | 显示全部楼层
不用担心有些网页的翻页数量多而有些多,翻页的时候,爬虫程序只管找Next这个标志,找到就点击,所以,等翻页到底,就没有Next标志了,自然就停止了。具体参看《翻页采集》教程。

如果翻页到底还有标志,可以在DS打数机上设置根据内容重复判断是否中断
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 18:32