淘宝评论翻到最后一页，没办法结束本页任务

翻页操作是通过记号线索“下一页”来实现的，但是淘宝评论翻到最后一页时，“下一页”就变黑了，不可点击，但是依据线索规则，还是可以被爬虫捕捉到的，只是li标签的class从gp-next变成了gp-next disable，所以爬虫会一直卡在那里，没办法结束本商品的评论抓取工作，进而进入下一个商品的抓取，这个问题怎么处理啊。

两个方案
1，DS菜单 高级-》终点标志-》重复内容：如果勾上，遇到重复内容会中断
2，手工修改抓取规则，就是在“爬虫线索”工作台上，点击“查看”按钮，看到下部的翻页规则，把xpath修改一下，点击右边的“保存”。注意，保存一定要在存规则之后做，因为再次存规则的话，以前保存的手工修改的内容就冲掉了。

还有最后一道防线，启用爬虫群，在会员中心-》爬虫管理-》规则管理 那里，设置调度参数，高级参数中有“同一线索翻页次数”，可以进行限制。注意，如果启用了爬虫群，爬虫群调度参数优先于DS上菜单设置的参数，所以，用爬虫群的话，上述方案1也要在调度参数设置重复内容中断