百度搜索超过100页就出现重复数据，要怎么破解？

百度这种，100页后面的信息都是一样的，是不是有反爬虫技术呢？那要怎么破解啊？

可能是百度设置的上限，比如，淘宝的搜索结果也是只有100个分页。

百度搜索应该可以按照时间进行搜索，把过去的时候分成一段一段的，每一段里面的数据不要超过100页

是的，超过一定页码出现重复数据就是一种反爬技术。
解决方法：每次爬取的页码要控制在一定范围内，例如，百度搜索，是可以通过工具，设置时间段，这样就可以控制好采集的页码数量

长知识了，谢谢