现有三个规则:
第一个规则用于商品搜索页面, 将商品页面的link线索存到第二个规则做使用,
第二个规则是进入商品页面后点选月成交纪录,做成记号映射用于第三个规则并勾选连贯抓取,
第三个规则抓成交记录,翻页线索是选择交易纪录下方的下一页作为记号映射并勾选连贯抓取。
今产生crontab时, 于第三个规则step中的depth变数填上15, 但是在运行时发现DS机并没有在交易纪录的第15页停止并一直翻页下去, 如果把第三个规则的连贯抓取取消, 则在运行DS机时就只有抓取第一面不会翻页, 上述情形我该如何做调整?

举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2015-12-2 13:21

沙发
ym 版主 发表于 2015-12-2 13:21:55 | 只看该作者
你第二个规则做了模拟点击,用第二个规则采集商品页面时会自动跳到交易记录里,并且自动调用第三个规则采交易记录,这个过程是连贯的,是由第二个规则触发的,不用启动第三个规则也会发生。所以,在crontab里第三个规则step是多余的,直接删掉,因为是由第二个规则触发第三个规则的采集,要控制交易记录的翻页,就要去设置第二个规则step的depth参数,填上15就可以。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 02:43