就去哪儿网酒店爬取速度慢

zhp2257485459

在爬取去哪儿网酒店评论时爬取速度特别慢怎么解决，我用的是层级爬取就是按照视频教程里的步骤来的，不过在第二层的时候加上了翻页采集，然后第一层爬的还挺快的，第二层就爬的特别慢，一下午才爬取去了400多条

Fuller · 发表于 2022-5-24 09:45:00

把你做的两级规则的名字都发出来，我检查一下看看

zhp2257485459 · 发表于 2022-5-24 10:09:49

Fuller 发表于 2022-5-24 09:45
把你做的两级规则的名字都发出来，我检查一下看看

请您看一下是这个吗

Fuller · 发表于 2022-5-24 11:17:36

我看了你的规则，我建议在第二层那里，不要采集酒店名称，采集酒店名称以后，都不好做样例映射，不好采集多条评论。而且会造成规则适应性不高。如果遇到规则失败，采集速度就会大大减慢，因为每次失败都要等1分钟

zhp2257485459 · 发表于 2022-5-24 14:02:53

好的，谢谢，我试试

zhp2257485459 · 发表于 2022-5-24 16:00:22

Fuller 发表于 2022-5-24 11:17
我看了你的规则，我建议在第二层那里，不要采集酒店名称，采集酒店名称以后，都不好做样例映射，不好采集多 ...

您好我这回没有爬取酒店名称还是很慢

Fuller · 发表于 2022-5-24 17:28:28

zhp2257485459 发表于 2022-5-24 16:00
您好我这回没有爬取酒店名称还是很慢

你的电脑运行的时候，你觉得慢的是哪一级？第二级翻页吗？我这里测试很好。你有没有改动爬虫的配置参数？比如，超时时长、延迟抓取，不要改的太大

zhp2257485459 · 发表于 2022-5-24 17:39:43

Fuller 发表于 2022-5-24 17:28
你的电脑运行的时候，你觉得慢的是哪一级？第二级翻页吗？我这里测试很好。你有没有改动爬虫的配置参数？ ...

第二级，好的谢谢

共 7 个关于本帖的回复最后回复于 2022-5-24 17:39

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页