集搜客GooSeeker网络爬虫

标题: 加载更多抓不到数据 [打印本页]

作者: vignylwn 时间: 2018-5-16 20:21
标题: 加载更多抓不到数据
抓微博评论，有加载更多的选项，于是根据教程进行如下设置
[attach]9403[/attach]
共有800+的评论，但是抓出来只有几十条，请大神帮忙看看是什么原因

作者: Fuller 时间: 2018-5-16 22:17
我加载了你的规则，看到那个模拟点击查看更多的爬虫路线没有了。反而增加了连续动作滚屏。这个不太合适

续动作滚屏通常是用于没有底的瀑布流的，每滚一次抓取一次，会产生好多结果文件。而这个场景适合用DS打数机的自动滚屏，用菜单配置-》滚屏参数进行设置，把滚屏次数设置成大于0的数字，比如，8，就能开启滚屏。

还是需要定义个爬虫路线，用于翻页，虽然叫“查看更多”，其实跟 “下一页”一样。

另外，爬微博评论有现成的采集工具，不用做规则。参看：https://www.gooseeker.com/land/weibo.html

作者: vignylwn 时间: 2018-5-21 16:32

Fuller 发表于 2018-5-16 22:17
我加载了你的规则，看到那个模拟点击查看更多的爬虫路线没有了。反而增加了连续动作滚屏。这个不太合适

续 ...

好的，感谢您！

欢迎光临集搜客GooSeeker网络爬虫 (http://www.gooseeker.com/doc/)