Home › Forums › MetaSeeker工具包

如何限定翻页抓取的翻页数量？

Mon, 09/26/2011 - 09:48 — abelzhao

通常，当在metaseeker中设置好翻页的线索后，dataseeker会按照线索一口气把所有分页都下载完。但当内容太多后，我们可能只需要排在前面的几十页数据就够了。最好有个限制翻页页数的功能，目前版本的程序有这个功能吗？

‹ 关于sina微群的成员list的ajax翻页问题 如何在内容映射时使用xpath进行过滤？ ›
Mon, 09/26/2011 - 22:53 — Fuller

周期性自动抓取还是手动抓取

如果采用周期性自动抓取，在crontab.xml文件中设置depth参数，可以限制翻页数量

如果是手动抓取，眼睛看着DataScraper翻页，到某一页，关闭DataScraper窗口即可

Sun, 10/09/2011 - 11:33 — abelzhao

感谢指导

之前没有看周期性自动抓取的功能，所以不太了解。现在仔细弄了几遍，通过配置文件的方式来解决这个问题的确非常方便。