本帖最后由 Jason7227 于 2018-3-8 12:47 编辑

我要抓取美团外卖的评分和店铺信息
然后思路是这样的
第一规则翻页抓取下级网页网址



第二规制然后用连续动作点击“评论”



第三规制再抓取评论页面的评论数和评分信息




然后为什么每次运行第一规制第二规制都有几十条线索,等运行第三规则就没有线索了




举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2018-3-8 14:06

沙发
Fuller 管理员 发表于 2018-3-8 12:51:01 | 只看该作者
第一级规则是HZS2吗?我看了一下,你定义的点击动作的表达式是
  1. //*[@class='tab-item ']
复制代码
这会定位到两个节点,一个是菜单,一个是评价,这样不好。测试方式如下图


把xpath表达式拷贝到“显示XPath”对应的那个输入框,点击搜索,能看到搜索到两个节点
举报 使用道具
板凳
Fuller 管理员 发表于 2018-3-8 12:53:17 | 只看该作者
你说的第一级不是HZS2吧?我在爬虫路线工作台上没有看到定义下级线索。
HZS2到HZS3是连续动作,那么只能从HZS2开始运行,不能单独运行HZS3
举报 使用道具
地板
Jason7227 新手上路 发表于 2018-3-8 13:49:22 | 只看该作者
Fuller 发表于 2018-3-8 12:53
你说的第一级不是HZS2吧?我在爬虫路线工作台上没有看到定义下级线索。
HZS2到HZS3是连续动作,那么只能从H ...

好的,还有一个问题想问一下


为什么会出现这种情况,我明明设置了三个不同文本的映射,怎么解决
举报 使用道具
5#
yangwenge 金牌会员 发表于 2018-3-8 14:06:51 | 只看该作者
本帖最后由 yangwenge 于 2018-3-8 14:12 编辑
Jason7227 发表于 2018-3-8 13:49
好的,还有一个问题想问一下


这三个映射的是同一个节点,重新做下映射,然后点击右侧的定位-将定位标志修改成绝对定位
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 13:55