关于反爬虫策略

资料中提到:“由于使用动态IP地址,被抓取的网站的反爬虫策略难于奏效。”,能够具体解释一下么? 是使用随机的IP的意思么? X-Foword?

MetaSeeker在线版不修改http头

MetaSeeker在线版不对http头进行修改,即使agent通常也不修改,而是利用Firefox的配置功能对整个Firefox环境进行修改,MetaSeeker只是使用修改后的内容。

X-Forward伪装对反爬的作用也不是万能的,这跟目标网站的组网情况和反爬判断方法有关。本产品推荐使用ADSL,是为了分散流量,以成本换取反爬的风险,另外,adsl重新拨号也可以修改IP,对用IP地址作外反爬的网站,可以起到作用。