Home › Forums › MetaSeeker工具包

翻页抓取时是否可以设置只抓取到第10页？

Mon, 01/12/2015 - 15:04 — hehuang1226

在定义翻页线索时，比如大概总共有700页的内容，翻页抓取时是否可以设置只抓取到第10页程序就结束不再继续抓取第11页的内容？

‹ DATAscraper新浪微博抓取数据后不生成XML文件 今天好像登陆不上去呢 ›
Wed, 01/14/2015 - 10:00 — Fuller

用crontab的参数控制翻页数量

用周期性抓取指令文件crontab.xml 中的depth参数可以控制翻页数量