本帖最后由 xandy 于 2016-12-6 12:03 编辑


【启动采集前的配置】

  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问知网文献搜索2016页面;
  • 输入关键词,若输入多个关键词,请用分号;隔开,例如:网络;架构,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言

举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2018-6-5 12:17

沙发
Fuller 管理员 发表于 2016-11-29 17:33:12 | 只看该作者
知网这个网站,一层层iframe套在一起,而且有会话状态管理,自己写爬虫程序是比较辛苦的,这个数据获取接口不错,完全不用技术基础,指定你要的内容,把爬虫跑起来就等着收数据了
举报 使用道具
板凳
halosir 初级会员 发表于 2017-1-3 17:31:32 | 只看该作者
Fuller 发表于 2016-11-29 17:33
知网这个网站,一层层iframe套在一起,而且有会话状态管理,自己写爬虫程序是比较辛苦的,这个数据获取接口 ...

这个不能抓取摘要啊?
举报 使用道具
地板
scraper 论坛元老 发表于 2017-1-3 17:37:54 | 只看该作者
halosir 发表于 2017-1-3 17:31
这个不能抓取摘要啊?

摘要不在这个页面 要采集摘要的话 需要将采到的详情链接当做线索添加到这个规则 才能采到摘要
http://www.gooseeker.com/res/dat ... E%E8%AF%A6%E6%83%85

举报 使用道具
5#
halosir 初级会员 发表于 2017-1-3 18:31:04 | 只看该作者
scraper 发表于 2017-1-3 17:37
摘要不在这个页面 要采集摘要的话 需要将采到的详情链接当做线索添加到这个规则 才能采到摘要
http://www ...

哦,知道了,谢谢。
举报 使用道具
6#
halosir 初级会员 发表于 2017-1-4 08:43:58 | 只看该作者
halosir 发表于 2017-1-3 18:31
哦,知道了,谢谢。

有的摘要没有‘’更多‘’,有的摘要有‘’更多‘’,需要分别处理吗?
举报 使用道具
7#
halosir 初级会员 发表于 2017-1-4 08:45:05 | 只看该作者
halosir 发表于 2017-1-3 17:31
这个不能抓取摘要啊?

有的摘要没有‘’更多‘’,有的摘要有‘’更多‘’,需要分别处理吗?
举报 使用道具
8#
scraper 论坛元老 发表于 2017-1-4 14:05:29 | 只看该作者
halosir 发表于 2017-1-4 08:45
有的摘要没有‘’更多‘’,有的摘要有‘’更多‘’,需要分别处理吗?
...

直接添加去采集就可以了 程序会采全摘要内容的
举报 使用道具
9#
LCCDXQ 新手上路 发表于 2017-9-23 22:01:20 | 只看该作者
小白求问 怎么采集文献摘要?
举报 使用道具
10#
ym 版主 发表于 2017-9-23 22:42:48 | 只看该作者
本帖最后由 ym 于 2017-9-23 23:00 编辑
LCCDXQ 发表于 2017-9-23 22:01
小白求问 怎么采集文献摘要?

点击知网文献详情,把文献的网址添加进去,就可以采集到摘要
详情可见《知网数据采集攻略
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 15:59