快捷导航
网站示例:https://twitter.com/search?q=%23Oscars.%20%22greenbook%22%20lang%3Aen%20until%3A2019-02-28%20since%3A2019-02-01&src=typed_query

这是推特的高级搜索结果页面,当鼠标滚动到底部时,会自动刷新出新的内容,而不是翻页。对于这种网页结构要如何抓取符合条件的全部推文?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-9-29 15:08

maomao 金牌会员 发表于 2019-9-24 13:56:47 | 显示全部楼层
这是瀑布流网页,可以看看 这个教程  连续动作:滚屏采集瀑布流网页—以头条新闻为

举报 使用道具
carloszone 初级会员 发表于 2019-9-24 14:34:01 | 显示全部楼层
maomao 发表于 2019-9-24 13:56
这是瀑布流网页,可以看看 这个教程  连续动作:滚屏采集瀑布流网页—以头条新闻为例

...

谢谢,我去研究一下
举报 使用道具
carloszone 初级会员 发表于 2019-9-29 13:55:15 | 显示全部楼层
maomao 发表于 2019-9-24 13:56
这是瀑布流网页,可以看看 这个教程  连续动作:滚屏采集瀑布流网页—以头条新闻为例

...

你好,我这里遇到了新的问题:

在打数机里,这个页面要拖到最下面,才会加载新页面,因为网络延迟等原因,打数机会因为“重复内容”而自动停止

我要抓取全部内容的话,也不知道到底需要滚屏多少次…… 这种情况有什么解决办法吗?

举报 使用道具
Fuller 管理员 发表于 2019-9-29 15:08:53 | 显示全部楼层
carloszone 发表于 2019-9-29 13:55
你好,我这里遇到了新的问题:

在打数机里,这个页面要拖到最下面,才会加载新页面,因为网络延迟等原因 ...

如果是单搜的话,用菜单关闭重复内容中断,DS打数机菜单是 高级-》终点标志-》重复内容。如果是运行在爬虫群模式,那么要在会员中心,找到这个规则,设置调度参数,也有一个对应的设置项。

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • NLP文本情感分析入门
  • 机器学习算法入门介绍
  • 中文分词入门和分词工具汇总攻略
  • 自然语言处理NLP的一般处理流程
  • 关于鸿蒙操作系统的知乎讨论热点分析

热门用户

GMT+8, 2019-10-16 01:23