快捷导航
每隔一个小时要抓一遍数据,怎么防止ip被封锁
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-5-31 11:32

HJLing 版主 发表于 2015-8-27 10:59:32 | 显示全部楼层
可以使用调度程序crontab,来控制抓取网页速度。
详细教程参见周期性网页抓取调度文件
举报 使用道具
ym 版主 发表于 2016-5-31 11:32:24 | 显示全部楼层
看这篇文章解决ip封锁的问题http://www.gooseeker.com/doc/thread-676-1-1.html
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-9-25 20:30