Home › Forums › MetaSeeker工具包

请教关于某些网页翻页抓取时，禁止频繁刷新页面的抓取设置方法

Fri, 04/01/2011 - 15:11 — wqq_721

我想请教一下这里的抓取高手，某些网站当频繁点击下一页时会出现“禁止频繁刷新页面，请稍候再试”，对于些类的网站，在使用工具包抓取时有没有可以设置抓取间隔时间的设置方式，延长模式我试过了，不可用
先谢了

‹ 我的DataScraper工具为什么没有定时器触发模式？ 请教－页面内数据提取不完整 ›
Fri, 04/01/2011 - 17:40 — Fuller

周期性抓取指令文件中有控制参数

请看周期性抓取指令文件中的minIdle和maxIdle。调整这两个参数，能够控制抓取速度，如果还遇到问题，欢迎告诉我们一起研究。

Fri, 04/01/2011 - 20:37 — wqq_721

已经OK了，THANKS

已经OK了，THANKS