快捷导航
本帖最后由 xandy 于 2016-12-6 12:03 编辑


【启动采集前的配置】

  • 预先登陆网站:否
  • 配置打码平台:否

【运行方法】— 详见数据DIY图文教程

  • 用GS爬虫浏览器或者是安装了爬虫软件的火狐浏览器访问知网文献搜索2016页面;
  • 输入关键词,若输入多个关键词,请用分号;隔开,例如:网络;架构,然后点击“获取数据”;
  • 点击“启动采集”按钮,采集完成后点击“打包”按钮,就可以下载数据了。

【常见问题】— 欢迎跟帖留言

举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2017-9-23 23:00

Fuller 管理员 发表于 2016-11-29 17:33:12 | 显示全部楼层
知网这个网站,一层层iframe套在一起,而且有会话状态管理,自己写爬虫程序是比较辛苦的,这个数据获取接口不错,完全不用技术基础,指定你要的内容,把爬虫跑起来就等着收数据了
举报 使用道具
halosir 初级会员 发表于 2017-1-3 17:31:32 | 显示全部楼层
Fuller 发表于 2016-11-29 17:33
知网这个网站,一层层iframe套在一起,而且有会话状态管理,自己写爬虫程序是比较辛苦的,这个数据获取接口 ...

这个不能抓取摘要啊?
举报 使用道具
scraper 金牌会员 发表于 2017-1-3 17:37:54 | 显示全部楼层
halosir 发表于 2017-1-3 17:31
这个不能抓取摘要啊?

摘要不在这个页面 要采集摘要的话 需要将采到的详情链接当做线索添加到这个规则 才能采到摘要
http://www.gooseeker.com/res/dat ... E%E8%AF%A6%E6%83%85

举报 使用道具
halosir 初级会员 发表于 2017-1-3 18:31:04 | 显示全部楼层
scraper 发表于 2017-1-3 17:37
摘要不在这个页面 要采集摘要的话 需要将采到的详情链接当做线索添加到这个规则 才能采到摘要
http://www ...

哦,知道了,谢谢。
举报 使用道具
halosir 初级会员 发表于 2017-1-4 08:43:58 | 显示全部楼层
halosir 发表于 2017-1-3 18:31
哦,知道了,谢谢。

有的摘要没有‘’更多‘’,有的摘要有‘’更多‘’,需要分别处理吗?
举报 使用道具
halosir 初级会员 发表于 2017-1-4 08:45:05 | 显示全部楼层
halosir 发表于 2017-1-3 17:31
这个不能抓取摘要啊?

有的摘要没有‘’更多‘’,有的摘要有‘’更多‘’,需要分别处理吗?
举报 使用道具
scraper 金牌会员 发表于 2017-1-4 14:05:29 | 显示全部楼层
halosir 发表于 2017-1-4 08:45
有的摘要没有‘’更多‘’,有的摘要有‘’更多‘’,需要分别处理吗?
...

直接添加去采集就可以了 程序会采全摘要内容的
举报 使用道具
LCCDXQ 新手上路 发表于 2017-9-23 22:01:20 | 显示全部楼层
小白求问 怎么采集文献摘要?
举报 使用道具
ym 版主 发表于 2017-9-23 22:42:48 | 显示全部楼层
本帖最后由 ym 于 2017-9-23 23:00 编辑
LCCDXQ 发表于 2017-9-23 22:01
小白求问 怎么采集文献摘要?

点击知网文献详情,把文献的网址添加进去,就可以采集到摘要
详情可见《知网数据采集攻略
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 爬wish等瀑布流网站时使用清除老数据功能
  • 从淘宝的买家评论中,能挖掘出什么有用的信
  • 连续动作:如何把抓到的信息与动作步骤对应
  • 淘宝开店运营十大攻略
  • 深圳市咨询投诉分析

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-10-23 10:42