Home › Forums › Web信息提取

请教关于某些网页翻页抓取时，禁止频繁刷新页面的抓取设置方法

Fri, 04/01/2011 - 14:38 — wqq_721

我想请教一下这里的抓取高手，某些网站当频繁点击下一页时会出现“禁止频繁刷新页面，请稍候再试”，对于些类的网站，在使用工具包抓取时有没有可以设置抓取间隔时间的设置方式，延长模式我试过了，不可用
先谢了

‹ 手动分级批量抓取时，第1级翻页抓取成功后，第2级抓取只抓了一个页面 昨天做了一个两级抓取，第一次运行良好，第二次发现没数据了。 ›