快捷导航
你好,我在采集爱奇艺电影评论,也做了翻页,但是采集的时候,发现爬虫没有点击翻页,没有翻页就结束了。规则名字:爱奇艺_视频详情评论maomao


爱奇艺翻页.png

举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2021-7-12 18:24

Fuller 管理员 发表于 2021-7-12 18:20:31 | 显示全部楼层
我加载你的规则分析了一下,翻页那里使用“查看更多评论”这串字符作为翻页标志,但是,这串内容在网页上不只是这几个文字,而且前后都有多个空格。那么,不要勾选“完全匹配标志值”,就可以修改标志值的内容,把“查看更多评论”前后的空格全部删除。有空格是不好的,如果多一个或者少一个空格,就会导致规则失效

爱奇艺9.png
举报 使用道具
Fuller 管理员 发表于 2021-7-12 18:21:56 | 显示全部楼层
还有个问题要提醒一下:在采集的时候,网页底部会有一个浮窗,就是上面截图中底下黑色的部分。这个浮窗会挡住“查看更多评论”这个按钮,那么就不要勾选“模拟点击”了,不然,有可能会点击到浮窗上
举报 使用道具
Fuller 管理员 发表于 2021-7-12 18:24:12 | 显示全部楼层
另外,注意看这个帖子《采集B站视频评论怎样禁止自动播放》,虽然还没有发布10.8.2版本,但是会很快发布了,注意及早升级到最新版本,如果评论特别多,要抓取很久,不禁止自动播放的话,没有抓取完就自动跳到下一个视频了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Jupyter Notebook使用Python做K近邻(KNN)算
  • 基于层次结构和共现关系的在线评论主题图谱
  • 基于因果机制的用户行为研究及应用
  • 改进的K近邻算法及其在文本分析中的应用
  • Jupyter Notebook使用Gensim库做中文Word2V

热门用户

GMT+8, 2021-9-22 16:33