我已经把集搜客网络爬虫软件升级到V10.8.1了,速度确实提高极其明显,体现在两方面:
1,采集微博数据的时候,以前到了晚上就会采集特别慢,现在好了,晚上跟白天一样快
2,进入定义规则模式,或者加载修改以前定义规则的时候,等待时间明显变短了
我为了写一个关于视频评论内容分析的论文,需要采集B站的视频评论,但是,爬虫软件一加载这个网页,视频就开始播放了,因为播放完就会接着播放下一个视频,那么就会有两个问题:
1,定义规则的时候,还没有定义完,就跳到下一个视频了
2,爬视频评论的时候,还没有采集完就跳到下一个视频了。
这个问题怎么解决?
|
|
|
|
|
共 1 个关于本帖的回复 最后回复于 2021-7-7 16:49