1 11067

怎么规定抓取翻页数

wangyong 于 2015-12-25 16:31 发表 [复制链接]
本帖最后由 ym 于 2016-2-1 18:08 编辑

常见问题 > 制作规则—常见问题导航 > 翻页采集 > 怎么控制翻页数量

怎么规定抓取翻页数
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2015-12-25 16:33

wangyong 版主 发表于 2015-12-25 16:33:24 | 显示全部楼层
本帖最后由 ym 于 2016-5-24 11:39 编辑

使用爬虫群进行采集,参看教程:如何运行爬虫群
爬虫群介绍看爬虫群模式,高效便捷的采集方式

用了爬虫群,就可以在规则的调度里用“同一线索内翻页次数”来控制翻页数量,我们填的是n,实际翻页数是n+1
注意:调度参数只对爬虫群窗口生效,对手工运行的DS窗口不生效,所以只能通过爬虫群采集来控制翻页数量。
QQ图片20151225163246.png
各个调度参数的意义看这里http://www.gooseeker.com/doc/article-112-1.html



举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 13:09