学习《怎样抓取中国知网数据》后实践遇到的问题

参考学习了《怎样抓取中国知网数据》后，遇到了以下问题：1、第二个规则收集到的网址，经过教程指示的修改之后，经复制粘贴无法在正常浏览器中打开。
比如此条网址：http://www.cnki.net/KCMS/detail/detail.aspx?QueryID=0&CurRec=1&FileName=ZGFX201404002&DbName=CJFD2014&DbCode=CJFQ&pr=
在浏览器中粘贴后打开的页面是知网的首页，而不是进入到某篇论文的详情中。这样给第三级规则做线索的时候匹配失败。
2、第三个规则和第四个规则之间属于上下级关系，但当我按照“模拟点击切换到另一标签窗口采数据”教程做的时候，单独执行第三个规则时无法自动执行第四个规则，关于这个问题滚屏次数也调整为大于零了，但仍不可以。输出的结果不包含第四个规则采集的信息。
我的四个规则主题分别为：知网的数据442759129；知网-搜索结果123；知网-文章数据-更多；知网-文章数据2。
请问这两个问题是为什么呢？
当四个规则如果以上问题都解决后，四个规则是如何结合起来运作的呢——我已经知道第二个规则产生的网址可以给第三个规则当线索，那第一个规则如何使用呢？
以上三个问题希望大大能够帮忙解答~小白十分感谢！！！

知网最近有改版过，以前的方法拼接成的详情页网址是无效的
你帖子中访问不了的那条网址：http://www.cnki.net/KCMS/detail/ ... DbCode=CJFQ&pr=
改成：http://kns.cnki.net/KCMS/detail/ ... DbCode=CJFQ&pr=
就可以访问了

也就是把域名部分的www替换成kns

shenzhenwan10 发表于 2017-4-9 15:47
也就是把域名部分的www替换成kns

好的~果然就进去啦！谢谢你！

第一个规则 知网的数据442759129 是为了做连续动作的 所以不需要做翻页线索  第二个规则搜索后才需要翻页
第三四个规则加载都报错

HJLing 发表于 2017-4-9 22:23
第一个规则 知网的数据442759129 是为了做连续动作的 所以不需要做翻页线索  第二个规则搜索后才需要翻页
...

抱歉现在看才看到~好的~

老师你好。把收集到的网址修改的教程哪里有？

17863926360 发表于 2017-11-16 21:26
老师你好。把收集到的网址修改的教程哪里有？

是需要拼接网址？可以参考《怎么自定义xpath拼接网址？》

现在抓取知网，可以用Gooseeker数据DIY，只要输入关键词或者网址，就可以爬取知网了。不用自己做规则了。

maomao 发表于 2018-3-30 16:02
现在抓取知网，可以用Gooseeker数据DIY，只要输入关键词或者网址，就可以爬取知网了。不用自己做规则了。

...

这个怎么爬取详情页的信息？