请问谁知道，怎么破除网站翻页的页码限制

谢谢，能抓到了

努力成为A 发表于 2016-1-14 22:35
谢谢，能抓到了

请问您后面是怎么弄的，可以加个qq么

crybzc5664 发表于 2016-6-2 09:22
请问您后面是怎么弄的，可以加个qq么

页码限制是网站做的，你是无法破解的，除非网站有漏洞，所以，你要考虑的怎样让总页数不要超过50页，其实就是选择更细小的分类。

以前你计划采集一个大类，比如，大类A，他总共有500个分页，现在你就采集大类A下面的小类A1,A2,A3,........，如果有50个子类，那么每个子类的分页数就很少了

努力成为A 发表于 2016-1-14 22:35
谢谢，能抓到了

能问下，你怎么做到的嘛？

对于翻页数有限制的网站，比如大众点评网最大只能翻50页，应对的方法是采集大类下的小类，或者通过其它条件来进一步细分，最后每个小类的总页数控制在50页内

minchengcheng 发表于 2016-9-29 11:53
能问下，你怎么做到的嘛？

举个例子，比如你抓淘宝男鞋这个大类，淘宝限制了只能翻页到100页，但是你做规则的时候将男鞋分成很多小类来抓，比如分不同品牌，这样你每个品牌都能显示100页的数据，有几个品牌你抓到的数据就相当于翻了几倍了

quyixuan 发表于 2016-9-29 11:59
举个例子，比如你抓淘宝男鞋这个大类，淘宝限制了只能翻页到100页，但是你做规则的时候将男鞋分成很多小 ...

嗯呢，谢谢你

努力成为A 发表于 2016-1-14 22:35
谢谢，能抓到了

但是我的无法再细分类别啦

李虹颖 发表于 2018-5-7 15:31
但是我的无法再细分类别啦

限制翻页的网址，只能通过条件来一步步细分，最后每个小类的总页数控制在翻页限制数以内，超过翻页限制的就无法采集到

数据集 发表于 2018-5-7 15:39
限制翻页的网址，只能通过条件来一步步细分，最后每个小类的总页数控制在翻页限制数以内，超过翻页限制的 ...

那我的分类就只要有两个，不管怎么细化，都会超过50页的限制，这个怎么弄啊？