[求助]下拉刷新式的网页如何采集数据

网站示例：https://twitter.com/search?q=%23Oscars.%20%22greenbook%22%20lang%3Aen%20until%3A2019-02-28%20since%3A2019-02-01&src=typed_query

这是推特的高级搜索结果页面，当鼠标滚动到底部时，会自动刷新出新的内容，而不是翻页。对于这种网页结构要如何抓取符合条件的全部推文？

这是瀑布流网页，可以看看 这个教程  连续动作：滚屏采集瀑布流网页—以头条新闻为例

maomao 发表于 2019-9-24 13:56
这是瀑布流网页，可以看看 这个教程  连续动作：滚屏采集瀑布流网页—以头条新闻为例

...

谢谢，我去研究一下

maomao 发表于 2019-9-24 13:56
这是瀑布流网页，可以看看 这个教程  连续动作：滚屏采集瀑布流网页—以头条新闻为例

...

你好，我这里遇到了新的问题：

在打数机里，这个页面要拖到最下面，才会加载新页面，因为网络延迟等原因，打数机会因为“重复内容”而自动停止

我要抓取全部内容的话，也不知道到底需要滚屏多少次…… 这种情况有什么解决办法吗？

carloszone 发表于 2019-9-29 13:55
你好，我这里遇到了新的问题：

在打数机里，这个页面要拖到最下面，才会加载新页面，因为网络延迟等原因 ...

如果是单搜的话，用菜单关闭重复内容中断，DS打数机菜单是 高级-》终点标志-》重复内容。如果是运行在爬虫群模式，那么要在会员中心，找到这个规则，设置调度参数，也有一个对应的设置项。