快捷导航
网站示例:https://twitter.com/search?q=%23Oscars.%20%22greenbook%22%20lang%3Aen%20until%3A2019-02-28%20since%3A2019-02-01&src=typed_query

这是推特的高级搜索结果页面,当鼠标滚动到底部时,会自动刷新出新的内容,而不是翻页。对于这种网页结构要如何抓取符合条件的全部推文?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2019-9-29 15:08

maomao 金牌会员 发表于 2019-9-24 13:56:47 | 显示全部楼层
这是瀑布流网页,可以看看 这个教程  连续动作:滚屏采集瀑布流网页—以头条新闻为

举报 使用道具
carloszone 中级会员 发表于 2019-9-24 14:34:01 | 显示全部楼层
maomao 发表于 2019-9-24 13:56
这是瀑布流网页,可以看看 这个教程  连续动作:滚屏采集瀑布流网页—以头条新闻为例

...

谢谢,我去研究一下
举报 使用道具
carloszone 中级会员 发表于 2019-9-29 13:55:15 | 显示全部楼层
maomao 发表于 2019-9-24 13:56
这是瀑布流网页,可以看看 这个教程  连续动作:滚屏采集瀑布流网页—以头条新闻为例

...

你好,我这里遇到了新的问题:

在打数机里,这个页面要拖到最下面,才会加载新页面,因为网络延迟等原因,打数机会因为“重复内容”而自动停止

我要抓取全部内容的话,也不知道到底需要滚屏多少次…… 这种情况有什么解决办法吗?

举报 使用道具
Fuller 管理员 发表于 2019-9-29 15:08:53 | 显示全部楼层
carloszone 发表于 2019-9-29 13:55
你好,我这里遇到了新的问题:

在打数机里,这个页面要拖到最下面,才会加载新页面,因为网络延迟等原因 ...

如果是单搜的话,用菜单关闭重复内容中断,DS打数机菜单是 高级-》终点标志-》重复内容。如果是运行在爬虫群模式,那么要在会员中心,找到这个规则,设置调度参数,也有一个对应的设置项。

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 如何使用集搜客分词平台做社会网络图分析?
  • 关于食品安全的美国联邦法规文件的网络爬虫
  • 怎样更有效率地搜索互联网和整理知识—使用
  • 阿里巴巴外包询价网站用集搜客网络爬虫能采
  • 在限定论域的时候,为什么“任何一个”表示

热门用户

GMT+8, 2020-5-29 00:12