采集暂停

当打数机采集时能暂停么？下次点开继续采集，有这个功能么？

爬虫群调度可以用暂停功能。
以一轮线索为单位，执行完当前线索有就会停止执行。
如果是在打数机中直接使用单搜或集搜，抓别的主题覆盖掉原先工作的打数机窗口或者直接关掉打数机 。
在单和集搜中抓取的单位是线索，如果爬取的是多条线索本次停止后会继续接着爬取后续线索。
如果只是抓取一条线索，翻页中途停止，重新抓取时会从第一页重新抓。

wangyong 发表于 2016-12-16 16:40
用爬虫群调度可以有暂停功能。
以一轮线索为单位，执行完当前线索有就会停止执行。
如果是在打数机中直接使 ...

我这是瀑布流网页，是算一条线索吧？

Givent 发表于 2016-12-16 16:43
我这是瀑布流网页，是算一条线索吧？

是的

wangyong 发表于 2016-12-16 16:44
是的

那这种采集无穷无尽啊，每次都重新采集，要了命了。没其他办法么

Givent 发表于 2016-12-16 16:48
那这种采集无穷无尽啊，每次都重新采集，要了命了。没其他办法么

瀑布流可以中断，但是不能暂停

暂停的意思是：比如瀑布流往下翻滚到20屏了，想停下来，以后再从21屏开始采集。这种需求无法在瀑布流上实现，因为下次一定要从头开始，瀑布流没有跳的某一屏的功能。

但是你可以中断，我不知道你是要抓哪个网站，假设抓天天有货这个网站的话，如果按照我在另一个帖子说的方法，只用点击和回退，那么可以在点击动作中规定点击位置，也就是在自定义xpath中，规定只点击前20个，可以用条件position() <= 20