快捷导航
如题

如何自动爬
自动爬出来的文件是覆盖还是添加?(保证数据最新,有效)
如何自动爬全部网站
爬到的数据结构如何自定义,如单位
如何把不同页面的数据统计到一个item中
如何把2条线索拼成一个item包容属性
规则/主题权限如何设定,如何防止被他人访问
如何自定义爬虫时间,导出规则等

上面的问题大概是能预想到的一些问题,如果有前辈觉得可以解决,并且愿意协助我完成的,请联系我
tel 13917569223  
email 527993075@qq.com
如果问题能解决,报酬方面不是问题~~
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2015-10-19 18:02

gooseeker_info 金牌会员 发表于 2015-10-19 18:02:46 | 显示全部楼层
本帖最后由 gooseeker_info 于 2015-10-19 18:18 编辑

针对你提的问题,逐一回答如下:
1,如何自动爬
答:我理解你说的“自动爬”是指安排好时间,爬虫自己定时启动和运行,完成后自动停止,等待下一轮运行。如果是这样,可以看crontab.xml调度文件的说明: http://www.gooseeker.com/doc/article-112-1.html

2,自动爬出来的文件是覆盖还是添加?(保证数据最新,有效)
答:即使爬同一个网址,也不会覆盖,因为每个结果文件名字含有时间戳

3,如何自动爬全部网站
答:用crontab.xml文件,把要爬的网站列上,而且可以同时运行多个窗口,同时爬。

4,爬到的数据结构如何自定义,如单位
答:爬数据之前首先要定义抓取规则,重要的一步就是创建整理箱,也就是抓取内容的结构。要从入门手册开始看起:http://www.gooseeker.com/doc/article-131-1.html

5,如何把不同页面的数据统计到一个item中
答:如果你是指抓取结果文件中的item标签,那么就不要在抓取结果文件这个层面进行数据统计和处理了,要先导入数据库或者excel,在库里面,很容易做统计

6,如何把2条线索拼成一个item包容属性
答:抓取结果的合并和分拆都要在数据库中做,也就是说先把抓取结果文件导入数据库后再操作

7,规则/主题权限如何设定,如何防止被他人访问
答:缺省情况下,别人是加载和修改不了你的规则的,只有你对外发布了,才能被别人下载。发布过程是在会员中心做的,别人下载会给你支付积分

8,如何自定义爬虫时间,导出规则等
答:crontab.xml可以指定爬虫运行时间,但是不是绝对时间,而是相对于启动时刻要过的时间,而且不是精准设定。很快会在会员中心公布一个爬虫管理功能,敬请期待。

如果需要用于大型数据挖掘系统,可以购买企业版:http://www.gooseeker.com/about/enterprise.html


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Jupyter Notebook使用Python做K近邻(KNN)算
  • 基于层次结构和共现关系的在线评论主题图谱
  • 基于因果机制的用户行为研究及应用
  • 改进的K近邻算法及其在文本分析中的应用
  • Jupyter Notebook使用Gensim库做中文Word2V

热门用户

GMT+8, 2021-9-22 17:22