普通版本能解决知网的反爬吗？

如题。在中国知网通过高级检索，输入关键词后抓取相关文章的标题、作者、摘要、关键词等信息。但是中国知网在输入关键词搜索后网址并不会发生变化。点击文章题目连接后不会跳转到正确界面，而是搜索主页，因此我就搜索不到摘要。请问这个问题能解决吗？

你用的是哪个网址？发出来我看看

http://www.cnki.net/
http://nvsm.cnki.net/kns/brief/result.aspx?dbprefix=SCDB&crossDbcodes=CJFQ,CDFD,CMFD,CPFD,IPFD,CCND,CCJD
用哪一个？

hac113 发表于 2019-5-28 18:05
http://www.cnki.net/
http://nvsm.cnki.net/kns/brief/result.aspx?dbprefix=SCDB&crossDbcodes=CJFQ,CDFD ...

知网有一套现成的快捷采集： https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8%E7%BD%91%E7%AB%99&web=%E7%9F%A5%E7%BD%91
这里面没有你要的内容吗？
这个网站要自己定义采集规则的话，可以用连续动作，用输入动作，让爬虫自动输入搜索词，这样就不怕网址不变了。

我记得这个网站其实搜索结果是套在一个iframe中的，把iframe中的那个网页单独拿出来做规则，那个网页是网址跟着关键词变化的。

你给的网址打不来了，估计已经失效了

Fuller 发表于 2019-5-28 18:20
知网有一套现成的快捷采集： https://www.gooseeker.com/res/datadiy.html?category=%E7%83%AD%E9%97%A8% ...

找到可以用的快速采集模板了，谢谢