如何深入爬取（层级抓取问题）？

shchen_13

本帖最后由 shchen_13 于 2016-3-24 10:39 编辑

如果在爬取贴吧时，有的评论中存在一些链接，我需要继续深入该链接，爬取里面的内容，该如何做？
PS : 因为有的时候评论也不会有新链接，所以随机性很大，不能按照正常的层级抓取规则去编辑规则

scraper · 发表于 2016-3-24 10:58:36

贴吧评论的链接，如果是超链接的话，就可以通过自定义xpath的方法，抓到评论的链接地址，因为超链接肯定存在@href节点；如果是文本的话，那就不能区分是否链接，只能后期手工筛选出http开头的评论信息，再整理出链接地址

shchen_13 · 发表于 2016-3-25 18:21:56

scraper 发表于 2016-3-24 10:58
贴吧评论的链接，如果是超链接的话，就可以通过自定义xpath的方法，抓到评论的链接地址，因为超链接肯定存 ...

好的,谢谢

共 2 个关于本帖的回复最后回复于 2016-3-25 18:21

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页