11#
Easec888 中级会员 发表于 2020-12-22 15:43:52 | 只看该作者
Fuller 发表于 2020-12-20 18:02
如果下一级还做做其他动作,还有更深层一级,那么别定义成连续动作了,因为调试连续动作有些麻烦,其实就 ...

这样只能一页一页爬对吧
举报 使用道具
12#
Easec888 中级会员 发表于 2020-12-22 15:57:11 | 只看该作者
本帖最后由 Easec888 于 2020-12-22 15:58 编辑
Easec888 发表于 2020-12-22 15:43
这样只能一页一页爬对吧

举报 使用道具
13#
Easec888 中级会员 发表于 2020-12-22 15:57:52 | 只看该作者
Fuller 发表于 2020-12-20 18:02
如果下一级还做做其他动作,还有更深层一级,那么别定义成连续动作了,因为调试连续动作有些麻烦,其实就 ...


举报 使用道具
14#
Easec888 中级会员 发表于 2020-12-22 15:58:48 | 只看该作者
Fuller 发表于 2020-12-20 18:02
如果下一级还做做其他动作,还有更深层一级,那么别定义成连续动作了,因为调试连续动作有些麻烦,其实就 ...


能帮忙看下,为啥翻到第二页就不翻了,测试的任务名:测试翻页点击
举报 使用道具
15#
wangyong 版主 发表于 2020-12-22 16:03:27 | 只看该作者
Easec888 发表于 2020-12-22 15:58
能帮忙看下,为啥翻到第二页就不翻了,测试的任务名:测试翻页点击

这个规则最重要的还是要把点击每个详情页面改成层级抓取,不改成层级抓取,总会有断的可能
举报 使用道具
16#
wangyong 版主 发表于 2020-12-22 16:18:00 | 只看该作者
Easec888 发表于 2020-12-22 15:58
能帮忙看下,为啥翻到第二页就不翻了,测试的任务名:测试翻页点击


目前这个规则只翻一页的原因是,动作执行的任务名不对,应该填测试翻页点击
举报 使用道具
17#
Easec888 中级会员 发表于 2020-12-22 16:49:10 | 只看该作者
wangyong 发表于 2020-12-22 16:18
目前这个规则只翻一页的原因是,动作执行的任务名不对,应该填测试翻页点击
...

这个不是下一级任务名吗,我按照你的改了,还是不成功
举报 使用道具
18#
wangyong 版主 发表于 2020-12-22 17:14:49 | 只看该作者
Easec888 发表于 2020-12-22 16:49
这个不是下一级任务名吗,我按照你的改了,还是不成功

翻页也是用的连续动作,所以这里就要填当前任务名,这个规则现在是可以翻页的,只是你映射的是第一页那个位置,每页抓取的都是1,重复内容中断了,所以没有翻到最后一页
把重复内容中断取消就可以了
举报 使用道具
19#
wangyong 版主 发表于 2020-12-22 17:19:39 | 只看该作者
wangyong 发表于 2020-12-22 16:03
这个规则最重要的还是要把点击每个详情页面改成层级抓取,不改成层级抓取,总会有断的可能 ...


这个页面上每个用户的onclick里包含的这段字符串,就是每个用户详情页的部分网址:https://exam.sac.net.cn/pages/re ... 9C0E053D651A8C082A9

前面这段内容是固定的:https://exam.sac.net.cn/pages/re ... on.html?r2SS_IFjjk=
把onclick里的内容抓取下来之后,用Excel构造出下级网址来,再添加到抓取详情页面的网址下,就能采集到数据了
举报 使用道具
20#
Easec888 中级会员 发表于 2020-12-22 17:27:34 | 只看该作者
wangyong 发表于 2020-12-22 17:14
翻页也是用的连续动作,所以这里就要填当前任务名,这个规则现在是可以翻页的,只是你映射的是第一页那个 ...

我我在这级规则里面如何点击进入下一级页面采集数据呢,再定义1个点击动作可以实现需求?

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 10:34