如图任务:第一次3页,第二次5页,第三次20多页就停了翻页,用的记号线索

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2020-11-27 10:06

沙发
maomao 论坛元老 发表于 2020-11-26 21:48:15 | 只看该作者
豆瓣有翻页限制,采集之前,在集搜客浏览器登陆豆瓣,能爬的页数多一些
举报 使用道具
板凳
maomao 论坛元老 发表于 2020-11-26 23:38:29 | 只看该作者
你的爬虫软件要及时升级 ,下载安装最新版的爬虫软件  https://www.gooseeker.com/pro/product.html
举报 使用道具
地板
maomao 论坛元老 发表于 2020-11-27 10:06:58 | 只看该作者
本帖最后由 maomao 于 2020-11-27 12:25 编辑

这个网站的每一页有独立链接。比如第20页的链接是https://read.douban.com/category?page=20
所以,即使断掉了,还可以把断掉的那一页链接添加到规则中,继续采集。比如,只采集到15页,从16页断了,把16页的链接https://read.douban.com/category?page=16   添加到规则中
在规则中怎样添加链接,看这个教程https://www.gooseeker.com/doc/thread-667-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 22:22