请问谁知道，怎么破除网站翻页的页码限制

常见问题 > 制作规则—常见问题导航 > 翻页> 怎么破除网站翻页的页码限制

请问谁知道，怎么破除页码限制吗

每页有独立网址的话，就把规则里的翻页线索删掉，然后构造每页网址，导入到规则里，一页页地抓

具体怎么处理？怎么构造每页网址，导入规则里
http://www.dianping.com/search/category/1/10/g112o10#top
http://www.dianping.com/search/category/1/10/g112o10p2
http://www.dianping.com/search/category/1/10/g112o10p50

网址最后面的数字就是页码的数字，把网址贴到excel里，鼠标选中单元格右下角出现+符号再往下拖动，页码的数字会递增，这样就构造了每页的网址，这里的第一页最后面没有页码数，那就从第二页开始构造网址。注意：要检查一下网址是否有效。

嗯，然后怎么一次性把网址导入到规则里，爬取

具体看初级教程添加线索的文章
方法1：去会员中心导入线索 http://www.gooseeker.com/doc/article-172-1.html
方法2：去DS打数机里导入线索 http://www.gooseeker.com/doc/article-129-1.html

努力成为A 发表于 2016-1-14 22:26
嗯，然后怎么一次性导入规则，爬取

在会员中心-〉爬虫管理-〉规则管理 那里找到这个规则，有添加线索功能，导入excel

我刚看了下，它这个最多只能翻到50页，我人为改到52页，点击也还是显示50页的内容，这样的话，爬取会有用吗？

那就是网站限制浏览的页码，这样即使构造了每页网址也是抓不了的

其实有一个方法可以爬取，它下面有分品类的，就可以做层级规则，把每个品类的链接抓下来，在下级规则里采集品类下的列表数据，这样即使限制50页，也能采集到每个品类下的更多数据