滚屏只滚一次

录屏在附件里。我需要滚屏结束后采集全部信息，所以关键信息设置成“没有更多了”。但是实际采集的时候我在浏览器和连续动作都设置滚屏，爬虫还是只滚一次。我手动滚到底就可以采集了，自动的就不行了。

滚屏和连续动作不能同时用，连续动作滚屏优先于普通的滚屏。

如果网页能够滚动到“没有更多了”，那么就不要开连续动作的滚屏。就用普通滚屏。滚屏次数设置大一点，比如，20。实际上并不是20次，而是发现网页再不加载新内容的时候额外再滚20次。除非遇到特殊的网页，这种判断偶尔会失效。

Fuller 发表于 2020-5-30 09:14
滚屏和连续动作不能同时用，连续动作滚屏优先于普通的滚屏。

如果网页能够滚动到“没有更多了”，那么就不 ...

我刚开始就是只在调度里设置了滚屏，发现不行再去做连续动作的。现在把连续动作删了，也还是只滚一次。

数据菊 发表于 2020-5-30 11:22
我刚开始就是只在调度里设置了滚屏，发现不行再去做连续动作的。现在把连续动作删了，也还是只滚一次。 ...

这是哪个网页？把网址发出来看看

Fuller 发表于 2020-5-30 12:53
这是哪个网页？把网址发出来看看

https://ask.dxy.com/ama/index#/find/user/3144218/public-issue
主题名叫问题列表页日期

Fuller 发表于 2020-5-30 12:53
这是哪个网页？把网址发出来看看

https://ask.dxy.com/ama/index#/find/user/17214799/comment 这个网址也滚不到底，只滚2次。主题名叫评论列表页。

数据菊 发表于 2020-5-30 14:13
https://ask.dxy.com/ama/index#/find/user/3144218/public-issue
主题名叫问题列表页日期

我测试了这个网页，用集搜客网络爬虫软件就能采集，不用采摘浏览器软件。我测试了一下，滚屏次数设置到30就足够了

数据菊 发表于 2020-5-30 14:49
https://ask.dxy.com/ama/index#/find/user/17214799/comment 这个网址也滚不到底，只滚2次。主题名叫评论 ...

评论列表页 这个规则没有搜到

Fuller 发表于 2020-5-30 22:50
评论列表页 这个规则没有搜到

打错了，这个叫评价列表页

数据菊 发表于 2020-5-31 01:23
打错了，这个叫评价列表页

我测试滚屏没有问题。

你的规则里面有一个抓取内容：滚屏结束标志

如果滚屏不到底，这个标志就看不到，那么采集就会失败。如果网页特别长，就要适当调大超时时长，不然，还没有滚到出现结束标志，就超时抓取失败了