11#
ym 版主 发表于 2016-12-30 09:38:25 | 只看该作者
旧版爬虫没有这个选项,你去下载最新版爬虫安装就有了
举报 使用道具
12#
Fuller 管理员 发表于 2016-12-30 09:52:24 | 只看该作者
liao028 发表于 2016-12-30 00:10
我的打数机->配置里没有“延迟加载”

要安装新版本了,你这个版本太老了,应该是半年前的。我们一般2周会升级新版本,增加新功能
举报 使用道具
13#
liao028 中级会员 发表于 2016-12-30 10:52:47 | 只看该作者
好的!我晚上去下载一个!
举报 使用道具
14#
liao028 中级会员 发表于 2017-1-12 15:49:06 | 只看该作者
遇到新问题。就是当页数稍微多点(如:10+页),就会出现跳页的情况,中间有几页被跳过去了。下面这个链接就是出现了跳页的情况(共12页,第8页和11页被跳过去了)
http://jzsc.mohurd.gov.cn/datase ... /001607220057321927
举报 使用道具
15#
liao028 中级会员 发表于 2017-1-12 15:51:15 | 只看该作者
规则:LW2_step3
相对线索对ifream这种情况用不起,我采用你说的连续动作做的翻页
举报 使用道具
16#
liao028 中级会员 发表于 2017-1-13 15:31:25 | 只看该作者
遇到新问题。就是当页数稍微多点(如:10+页),就会出现跳页的情况,中间有几页被跳过去了。下面这个链接就是出现了跳页的情况(共12页,第8页和11页被跳过去了)
http://jzsc.mohurd.gov.cn/datase ... /001607220057321927
举报 使用道具
17#
liao028 中级会员 发表于 2017-1-13 15:31:47 | 只看该作者
举报 使用道具
18#
Fuller 管理员 发表于 2017-1-13 17:10:55 | 只看该作者
liao028 发表于 2017-1-13 15:31
遇到新问题。就是当页数稍微多点(如:10+页),就会出现跳页的情况,中间有几页被跳过去了。下面这个链接 ...

LW2_step3 这个规则的下一级是 LW2_自动执行-点击人员列表,但是后者没有看到翻页规则
举报 使用道具
19#
liao028 中级会员 发表于 2017-1-14 11:37:39 | 只看该作者
是的。规则“LW2_自动执行-点击人员列表”是没有翻页规则,它的翻页是用的连续动作实现的翻页。之所以没用相对定位的线索是因为在ifream里实现翻页有问题(你看本帖的第一页你提到过)。
所以,请帮我看下这个连续动作实现的翻页为什么跳过11页,从10也直接跳到12页了。或者有没有其他办法??
举报 使用道具
20#
Fuller 管理员 发表于 2017-1-14 15:58:13 | 只看该作者
liao028 发表于 2017-1-14 11:37
是的。规则“LW2_自动执行-点击人员列表”是没有翻页规则,它的翻页是用的连续动作实现的翻页。之所以没用 ...

你用的连续动作的xpath会定位到底下所有8个翻页节点,有些网页不止8个就抓不了了。所以,这个xpath不合适,应该是 //*[@class='quotes']/a[preceding-sibling::a[1]/@class='active']<context>//*[@id='iframeContent']</context> ,只定位到一个节点,就像相对线索一样。在高级参数里面设置 重复次数 = 12,或者更多。再把DS打数机的根据重复内容中断抓取设置上,遇到重复内容就中断
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-6 00:22