我抓博客的数据，翻页特别多，能做限制吗?

Fuller · 最后登录 2024-11-24

问：我抓博客的数据，翻页特别多，能做限制吗?
答：用crontab文件，可以限制翻页数量，要么用depth参数限制死，要么根据是否以前抓过做增量抓取设置。参看http://www.gooseeker.com/cn/node/technology/files/pss

生成这个文件的方法参看： http://www.gooseeker.com/res/tooldetail_4.html

老版本教程可以参考：http://www.gooseeker.com/cn/node ... okv4/increment.html

Fuller · 发表于 2016-8-8 09:22:14

上面介绍的方法有点陈旧了，还有更好的方法，在会员中心设置调度参数，具体看这里：http://www.gooseeker.com/doc/thread-917-1-1.html

共 1 个关于本帖的回复最后回复于 2016-8-8 09:22

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页