意大利教育大学与研究部，想构造网址添加采集列表数据，导入后就剩一条网址。

意大利教育大学与研究部，想构造网址添加采集列表数据，导入多条后就剩一条网址。
像这样两条网址，最后的数字代表页码：
https://www.miur.gov.it/web/gues ... N8BfUdw8tJl_cur=209

https://www.miur.gov.it/web/gues ... N8BfUdw8tJl_cur=208

1、网址太长，所以就是别到这些网址的前半部分，所以识别出来的都是一样的，去重后只剩下一条。
2、可以用这个方法改一下网址，将最后一个&后的一串末尾添加“&”后，移到？后面，修改后如下：
https://www.miur.gov.it/web/gues ... _r_p_resetCur=false

如果是长网址，爬虫服务器会自动启用转短网址的功能。你现在没有看到转短网址功能，估计你用的VIP服务器，那台爬虫服务器没有开启转短网址功能