为什么这个网址20页之后就显示不了了

mollijasmin

https://apnews.com/search?q=GAZA&s=3&p=20

显示搜索结果有七千多条但是20页之后的看不到也采不到咋办呢

Fuller · 发表于 2024-6-19 09:10:05

很多网站都有翻页限制。遇到这种情况，爬虫只能采集20页。如果这个网站很重要，那么需要把爬虫设置成周期性增量采集，确保以后能把新的内容都采集下来

共 1 个关于本帖的回复最后回复于 2024-6-19 09:10

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页