我以一个用户为起点,抓他的一些信息,和他的关注和粉丝的情况 再抓关注的关注和粉丝的信息 和粉丝的关注和粉丝的信息 这样抓三层 有没有什么类似递归的方法 或 用什么方法??
您说的对,就是这样的,比如三层,1-〉2-〉3-〉1-〉2-〉3-〉1...这样循环下去
我现在第一层与第二层不能自动跳转,具体应该怎么做才能多层递归抓取呢
除非设置成线内线索才能自动调转,但是线内线索是有限制的。所以,绝大多数情况下,多层之间不能自动调转,搜索引擎的网络爬虫都是这样的。您可以在crontab.xml中设置多个线程,并行抓取各层
多层递归抓取的方法就是这样的
您说的对,就是这样的,比如三层,1-〉2-〉3-〉1-〉2-〉3-〉1...这样循环下去
具体怎么做呢
我现在第一层与第二层不能自动跳转,具体应该怎么做才能多层递归抓取呢
多层之间不自动调转
除非设置成线内线索才能自动调转,但是线内线索是有限制的。所以,绝大多数情况下,多层之间不能自动调转,搜索引擎的网络爬虫都是这样的。您可以在crontab.xml中设置多个线程,并行抓取各层