求助，爬取微博签到数据，设置了滚屏但是只抓取了没有滚屏的内容

如题 DS中关闭了自动滚屏 同时在工作台设置了滚屏 每次滚屏数测试了一些 但是抓取的的数据只有没有滚屏的那几条 （一页全获取差不多40条只能获取没滚屏的15条左右） 如果每次滚屏数设置的小一些 就会连续输出多个相同的文件 抓取的的数据依旧是没有滚屏的那几条 主题名：微博签到wb 页面地址：https://weibo.com/p/1001018008637020000000000 期待解答疑问~

这个网页是有结尾的，不是没有底的瀑布流，所以，不用连续动作的滚屏。用连续动作的滚屏要注意：如果前三次滚屏抓到的内容都一样，如果DS打数机设置了重复内容中断，那么就会中断。

如果用自动滚屏，把滚屏次数设置大一些，比如，15

如果连续滚屏，试试把每次滚屏数量设置大一些

Fuller 发表于 2018-11-11 09:37
这个网页是有结尾的，不是没有底的瀑布流，所以，不用连续动作的滚屏。用连续动作的滚屏要注意：如果前三次 ...

感谢你的回复 都试了一下还是不行 最后尝试了一下滚轮（主题名：微博签到w）还是每页最多采集15-16条，没法采集全

jadellas 发表于 2018-11-11 11:47
感谢你的回复 都试了一下还是不行 最后尝试了一下滚轮（主题名：微博签到w）还是每页最多采集15-16条，没 ...

我对了一下你的抓取结果
首先，我发现你做内容标注的时候，没有选择第一个样例，你做样例复制映射的时候，选择的是第三个作为第一个样例
其次，如果是视频的，就会漏掉

还要解决一个麻烦：上半页的内容放在一起，下半页的内容放在一个div下面，也就是说两部分并不是同等地位地放在一起，下半页缩进了一级。这个怎么解决我得想想。如果他们每个实例都有相同的class值，倒是可以用定位标志抓取多实例，而不是用样例复制映射（参看：https://www.gooseeker.com/doc/article-347-1.html ），但是里面有的实例用了不同的class值。

每个微博都有这么一个class值，虽然这个class不在包容整个微博的div上，而是在内部，也可以用来做定位标志映射，记得要先取消样例复制映射再做定位标志映射。

现在还遗留一个问题：有些微博没有图片，建议不要给那些图勾“关键内容”

maomao 发表于 2018-11-11 13:23
每个微博都有这么一个class值，虽然这个class不在包容整个微博的div上，而是在内部，也可以用来做定位标志 ...

感谢~