91#
goodhanbin 中级会员 发表于 2019-4-15 18:26:59 | 只看该作者
Fuller 发表于 2019-4-15 17:53
点击浏览次数是第一级规则做,不能放在第二级规则。

第二级规则的连续动作的目标主题指向第一级,这样就 ...

二级规则每一页数据,
由于未设动作,点击浏览次数,只采集到每一页第一行数据

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
92#
goodhanbin 中级会员 发表于 2019-4-15 18:55:51 | 只看该作者
Fuller 发表于 2019-4-15 17:53
点击浏览次数是第一级规则做,不能放在第二级规则。

第二级规则的连续动作的目标主题指向第一级,这样就 ...

Fuller;
谢谢你,我已经搞定,每页第一行点击次数,多了一行而已,后续数据加工删除即可,谢谢你的耐心指导!也学到了不少知识,再次感谢!!!
举报 使用道具
93#
Fuller 管理员 发表于 2019-4-15 18:57:20 | 只看该作者
goodhanbin 发表于 2019-4-15 18:15
第二级规则,连续动作:浏览次数,不做,只做一个动作:关闭窗口,那么二级规则数据,每一页,只会采集每 ...

"关闭窗口,那么二级规则数据,每一页,只会采集每一页第一行数据,并直接跳转至第二页第一行",你说的每一页是指弹出窗口中的每一页吗?你在第二级规则做样例复制,就能采集多行,如果需要翻页,就在爬虫路线那里定义翻页
举报 使用道具
94#
goodhanbin 中级会员 发表于 2019-4-17 17:05:01 | 只看该作者
Fuller 发表于 2019-4-15 18:57
"关闭窗口,那么二级规则数据,每一页,只会采集每一页第一行数据,并直接跳转至第二页第一行",你说的每 ...

点击浏览次数,第二级不做,一级规则数据:第一页,只会采集一行,并且会直接跳转到第二页第一页


这个是指,由于第二级规则,动作一,点击:浏览次数未做,导致第一级和第二级两个规则,只采集每一页的第一行数据之后,其他9行数据未采,直接翻页到下一页了;




如果,第二级规则,有做动作一,点击:浏览次数,那么第一级和第二级两个规则,就会按照整页+整行 ,依次往下自动采集完之后,再跳转到下一页
举报 使用道具
95#
Fuller 管理员 发表于 2019-4-17 18:14:49 | 只看该作者
goodhanbin 发表于 2019-4-17 17:05
点击浏览次数,第二级不做,一级规则数据:第一页,只会采集一行,并且会直接跳转到第二页第一页

根据这么久的讨论,我觉得你是跨层级采集了。

在第一级,这个规则必须做到把他自己这级的所有条数据都采集下来,不能依赖于第二级的规则。
如果这么多条数据都看到了,但是做的规则却采集不下来,一定是规则没有做好
举报 使用道具
96#
goodhanbin 中级会员 发表于 2019-12-6 14:22:54 | 只看该作者
按照您的建议,xpath应该这么写./../../td[@class='td-visitor align-left']/a[position()=1]/text(),二级规则:_,依然是空白,

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
97#
Fuller 管理员 发表于 2019-12-6 15:01:29 | 只看该作者
goodhanbin 发表于 2019-12-6 14:22
按照您的建议,xpath应该这么写./../../td[@class='td-visitor align-left']/a/text(),二级规则:_,依然 ...

因为这个网站不是公开的,我没法诊断规则,只能根据截图做一些推测。网站又会不断改版,那个xpath是否正确也不一定
举报 使用道具
98#
goodhanbin 中级会员 发表于 2019-12-6 15:03:54 | 只看该作者
Fuller 发表于 2019-12-6 15:01
因为这个网站不是公开的,我没法诊断规则,只能根据截图做一些推测。网站又会不断改版,那个xpath是否正 ...

以前,二级规则中,可以抓取到
举报 使用道具
99#
goodhanbin 中级会员 发表于 2019-12-6 15:04:54 | 只看该作者
Fuller 发表于 2019-12-6 15:01
因为这个网站不是公开的,我没法诊断规则,只能根据截图做一些推测。网站又会不断改版,那个xpath是否正 ...

需要哪一方面截图?我截图出来
举报 使用道具
100#
Fuller 管理员 发表于 2019-12-6 15:12:37 | 只看该作者
需要87楼和63楼那样的截图
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-21 19:46