任务名:美团北京全聚德评论抓取第二级;美团北京全聚德评论抓取第三级我从第一级抓取到不同店铺的网址作为下级线索,但是发现点进去网址不能直接显示评论,需要在新加载出来的网页上进行模拟点击动作,为此我专门设计了第二级规则,点击动作后再进行第三级规则评论抓取,但是这里我发现第二级和第三级规则衔接不上了,第三级本来线索应该是点击后的第二级线索,我启动爬虫群后发现第二级任务正常运行,第三级任务没有动静,请问该怎么解决呢?
举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2020-6-3 10:11

1842554864 初级会员 发表于 2020-6-2 19:25:44 | 显示全部楼层
现在是第二级的点击动作能够连接上第三级规则了,但是第三级任务自己的翻页路线自己不能运行了,导致每条线索只能收集到点击后出现的第一页的十条评论。。。
举报 使用道具
Fuller 管理员 发表于 2020-6-3 10:07:59 | 显示全部楼层
1842554864 发表于 2020-6-2 19:25
现在是第二级的点击动作能够连接上第三级规则了,但是第三级任务自己的翻页路线自己不能运行了,导致每条线 ...

你第二级的样本页面,我加载竟然看不到评论
举报 使用道具
Fuller 管理员 发表于 2020-6-3 10:10:50 | 显示全部楼层
你的第三级,不要同时做连续动作和翻页。如果你想用连续动作翻页,就用连续动作,如果想用普通翻页,就用普通翻页。我认为普通翻页就可以了
举报 使用道具
Fuller 管理员 发表于 2020-6-3 10:11:59 | 显示全部楼层
确实要点击一下才能看到评论。你的第二级应该建一个整理箱,比如,抓取基本信息。如果没有整理箱,就无法判断网页是否加载出来了,就有可能点击做早了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 20:40