使用相对索引进行翻页爬取数据的时候，可以暂停么

我想在爬了一定数量的数据之后暂停一段时间，一段时间后，接着再爬取数据

如果不是翻页爬，那就很简单，把爬虫关了，当前这条线索就失败了，不影响其它的，下次从下一条开始。如果想恢复失败的这条，执行激活“失败”线索再重爬。

如果是翻页抓取，要看每个分页有没有独立的url，如果有，比如，url有参数page=xxx，表示翻到哪里了。这样也可以关爬虫，下次开始的时候，构造一个网址，在会员中心或者DS中添加线索，那么就会从这里开始。

如果翻页没有独立网址，关闭后就要从头开始了，举几个例子
1，微博的评论：没有独立网址，翻页中断了就得从头再来
2，微博的博主的消息列表：有独立网址，翻页中断了可以构造网址从中断处恢复