本帖最后由 ym 于 2015-10-26 15:42 编辑
常见问题 > 制作规则—常见问题导航 > 翻页 > 翻页中勾上连贯抓取有什么用
勾选连贯抓取,表示在执行抓取任务时,爬虫可以在同一个DS打数机窗口内抓取完当前页面后直接跳转到下一个页面进行抓取。也就是在同一爬虫窗口内抓完第一页继续抓第二页等后续页面。
如果不勾选连贯抓取,则抓完当前页面后停止抓取,翻页标志中包含下一页页面独立网址的话则为当前主题生成下一页的抓取线索。翻页标志中不包含下一页独立网址则不会有新线索生成。
如果翻页标志中包含的是JavaScript代码不是下一页的独立网址,生成的线索不可用。 |
|
|
|
|
共 2 个关于本帖的回复 最后回复于 2016-12-1 22:01