集搜客GooSeeker网络爬虫

标题: 淘宝爬取商品列表，但是滑块太频繁了 [打印本页]

作者: a358223957 时间: 2021-2-6 18:39
标题: 淘宝爬取商品列表，但是滑块太频繁了
前几天用GooSeeker，还挺爽的，但是这几天滑块无限，根本不知道怎么破解
更换了UA，每天换一个淘宝号和IP，现在速度也不快，抓取时间间隔是5S
但是现在还是滑块好厉害
请问有什么方式解决吗

作者: Fuller 时间: 2021-2-6 19:16
换IP以后一定要清除缓存和cookie，因为在cookie中记录了一些访问统计信息，如果光换IP，网页还是能利用以往的统计信息判断出来你已经访问得很频繁了。

但是，现在淘宝限制太厉害，即使这些手段都用上也很难大量采集。

清除缓存和cookie的方法：https://www.gooseeker.com/doc/thread-18152-1-1.html

作者: a358223957 时间: 2021-2-7 11:32

Fuller 发表于 2021-2-6 19:16
换IP以后一定要清除缓存和cookie，因为在cookie中记录了一些访问统计信息，如果光换IP，网页还是能利用以往 ...

我也会每天清理cookie，请问现在还有什么更好点的方式方法吗

作者: a358223957 时间: 2021-2-7 11:33
很惆怅的，或者是有什么方式可以大量采集吗

作者: Fuller 时间: 2021-2-7 11:40

a358223957 发表于 2021-2-7 11:33
很惆怅的，或者是有什么方式可以大量采集吗

现在这个问题很突出，如果目标网站有意设定限制爬虫的检测，爬虫是没办法突破的，现在的检测手段很高明

欢迎光临集搜客GooSeeker网络爬虫 (https://www.gooseeker.com/doc/)