本帖最后由 终将泥泞 于 2018-6-8 13:36 编辑

我做了四级规则,模拟点击——搜索关键词——采集网址——采集摘要,但是翻页采集到第二页就匹配失败了。
规则名:
第一级:step1知网模拟点击1
第二级:step2知网搜索关键词1
第三级:step3知网搜索结果1
写小论文做的采集工作,前两级规则都运行正常,采集网址的时候在第二页规则就出错了,各位大神帮忙看看是咋回事???

Ps:我把规则三加载进MS,翻页到第二页进行后续分析,提示错误如下
QQ图片20180608133359.png

举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2018-6-8 16:33

wangyong 版主 发表于 2018-6-8 10:08:20 | 显示全部楼层
step3知网搜索结果1
这个规则有三个规则编号不同的采集规则,实际上不需要那么多,把规则_3.1和规则_5都删除
整理箱定节点网址链接不要做定位标志映射,选择做样例复制映射再试试
举报 使用道具
终将泥泞 初级会员 发表于 2018-6-8 13:20:23 | 显示全部楼层
wangyong 发表于 2018-6-8 10:08
step3知网搜索结果1
这个规则有三个规则编号不同的采集规则,实际上不需要那么多,把规则_3.1和规则_5都删 ...

试过了,我把规则三删除了重新编辑,使用样例复制,出现了同样的问题,一到第二页就抓不了
举报 使用道具
wangyong 版主 发表于 2018-6-8 14:36:18 | 显示全部楼层
终将泥泞 发表于 2018-6-8 13:20
试过了,我把规则三删除了重新编辑,使用样例复制,出现了同样的问题,一到第二页就抓不了
...

知网.png
第三级翻页线索的目标主题名写错了,应该是写当前的规则名:step3知网搜索结果1
举报 使用道具
终将泥泞 初级会员 发表于 2018-6-8 15:52:32 | 显示全部楼层
wangyong 发表于 2018-6-8 14:36
第三级翻页线索的目标主题名写错了,应该是写当前的规则名:step3知网搜索结果1
...

感谢,该问题已成功解决,自己倒腾了两天,被自己蠢哭
但是在知网抓取的时候,一到第16页就出来个验证码,可能是采集数据的速度和频率太高,被检测出来了,正在寻找解决方案

举报 使用道具
Fuller 管理员 发表于 2018-6-8 16:33:18 | 显示全部楼层
终将泥泞 发表于 2018-6-8 15:52
感谢,该问题已成功解决,自己倒腾了两天,被自己蠢哭。
但是在知网抓取的时候,一到第16页就 ...

放慢采集速度的方法在这里有个总结:https://www.gooseeker.com/doc/thread-4563-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 19:15