列表采集，数据重复

我做了一个规则，连编号也采集下来了，我发现这个网站的搜索结果会变，编号没有问题，但是，每个编号对应的名字会变。

Fuller 发表于 2019-5-10 17:14
我做了一个规则，连编号也采集下来了，我发现这个网站的搜索结果会变，编号没有问题，但是，每个编号对应 ...

我也发现了，其实不得不说这是个神奇的网站。这算不算是，一个防止爬虫的方法呢

gpy258 发表于 2019-5-11 09:52
我也发现了，其实不得不说这是个神奇的网站。这算不算是，一个防止爬虫的方法呢
...

一般不会是防爬，而是这个网站的排序算法可能是不稳定

好的，那有没有什么解决办法呢

Fuller 发表于 2019-5-11 10:19
一般不会是防爬，而是这个网站的排序算法可能是不稳定

好的，那有没有什么解决办法呢

gpy258 发表于 2019-5-11 10:51
好的，那有没有什么解决办法呢

这种没有好办法，可以多爬几遍，也许能把所有的内容抓到至少一次

Fuller 发表于 2019-5-11 15:41
这种没有好办法，可以多爬几遍，也许能把所有的内容抓到至少一次

谢谢