技术大神想咨询个问题

fred590

技术大神想咨询个问题，在二级爬取后还想进行三级爬取，但第三级网站可能没有那么统一，这时候怎么定义第三级？像这种情况能爬吗？

Fuller · 发表于 2019-7-13 22:39:20

用爬虫做的规则相当于一个模板，如果第三级不统一，就没法做模板。除非想把整个网页内容存下来，这个可以做的很通用，把整个body节点映射给抓取内容就行。但是，如果要抓取一个个字段，就不好做成通用的规则

fred590 · 发表于 2019-7-13 23:32:54

Fuller 发表于 2019-7-13 22:39
用爬虫做的规则相当于一个模板，如果第三级不统一，就没法做模板。除非想把整个网页内容存下来，这个可以做 ...

明白了，谢谢

共 2 个关于本帖的回复最后回复于 2019-7-13 23:32

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页