本帖最后由 wayslien 于 2019-6-28 16:08 编辑

我做了一个层级规则,想要实现的效果是想通过模拟点击“载入更多”把所有产品列表展现之后,再搜集所有项目信息,但是执行完之后,下级规则也只能抓取到载入更多之前的项目信息。
求大神帮忙看一下是怎么回事

1. 上级规则
2. 下级规则
举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2019-7-1 09:00

沙发
wayslien 中级会员 发表于 2019-6-28 16:08:42 | 只看该作者
本帖最后由 wayslien 于 2019-6-28 16:10 编辑

奇怪。。。为什么我的规则链接贴不出来。。。。下级规则:https://www.gooseeker.com/secure/me/wayslien_preview/share452966.html
上级规则:https://www.gooseeker.com/secure/me/wayslien_preview/share452965.html
举报 使用道具
板凳
Fuller 管理员 发表于 2019-6-28 16:09:52 | 只看该作者
具体的任务名是什么?
举报 使用道具
地板
wayslien 中级会员 发表于 2019-6-28 16:14:40 | 只看该作者

模拟点击+搜集数据下级规则无法搜集载入更多之后的数据

Fuller 发表于 2019-6-28 16:09
具体的任务名是什么?

上级规则叫做:KS翻页下级规则叫做:KS翻页2
举报 使用道具
5#
Fuller 管理员 发表于 2019-6-28 17:36:52 | 只看该作者
wayslien 发表于 2019-6-28 16:14
上级规则叫做:KS翻页下级规则叫做:KS翻页2

我测试一下,这两天我们正在升级爬虫的功能,我检查一下是不是爬虫功能升级影响了。你的爬虫软件版本是9.0.3吗?有用户反映说9.0.3有问题
举报 使用道具
6#
wayslien 中级会员 发表于 2019-6-28 17:52:03 | 只看该作者
Fuller 发表于 2019-6-28 17:36
我测试一下,这两天我们正在升级爬虫的功能,我检查一下是不是爬虫功能升级影响了。你的爬虫软件版本是9. ...

是的,9.0.3
举报 使用道具
7#
Fuller 管理员 发表于 2019-6-28 19:06:41 | 只看该作者

你的问题跟版本无关,是翻页的目标任务名不对,要跟当前任务名保持一致

举报 使用道具
8#
Fuller 管理员 发表于 2019-6-28 19:09:52 | 只看该作者
你的任务:KS翻页2 抓取的内容是最全的,就这一个规则就行了,你把翻页规则放在 KS翻页2 中,翻页的目标任务名还是 KS翻页2 。不要 KS翻页 这个任务了
举报 使用道具
9#
wayslien 中级会员 发表于 2019-6-30 22:21:12 | 只看该作者
Fuller 发表于 2019-6-28 19:09
你的任务:KS翻页2 抓取的内容是最全的,就这一个规则就行了,你把翻页规则放在 KS翻页2 中,翻页的目标任 ...

不行耶,KS翻页2只能抓取当前页面的内容,“载入更多”之后的内容都抓取不到。。。
举报 使用道具
10#
wayslien 中级会员 发表于 2019-6-30 22:43:51 | 只看该作者
Fuller 发表于 2019-6-28 19:06
你的问题跟版本无关,是翻页的目标任务名不对,要跟当前任务名保持一致

...


而且数据有有重复。。。。在还没有“载入更多”的那个页面,一共有12个项目,数据抓取到第6个之后,又开始从头抓取了一遍,然后就没数据了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 23:57