请问，DataScraper可以抓取有防抓策略的网站么

Wed, 05/02/2012 - 09:00 — a405674945

站长，DataScraper可以抓取有防抓策略的网站么，呃，没有具体的网站，就有这么个疑问，往解惑

Wed, 05/02/2012 - 14:29 — Fuller

很多技术都可以用于防抓取，具体是指什么防抓取策略？

Thu, 05/03/2012 - 08:33 — a405674945

嗯，比如这样，判断一个IP在一定时间内对本站页面的访问次数，如果明显超过了正常人浏览速度，就拒绝此IP访问

Thu, 05/03/2012 - 18:06 — Fuller

将爬取任务分散到多台计算机上，这些计算机还要用独立的ADSL拨号上网，不能共用相同IP地址，这样流量就分散了；其次，经常重新拨ADSL，这样可以更换IP地址

通常旅游网站的机票查询防封锁最厉害，用上述策略可以应对，MetaSeeker是一个分布式网络爬虫，很好地解决了这个问题。但是，流量分散意味着成本提高，要衡量是否值得抓取这些信息

GooSeeker