快捷导航
在设置规则的时候可不可以在爬取帖子,然后进入该帖子爬评论,再进入下一个帖子,再进该贴爬评论?

举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2019-10-7 17:54

Fuller 管理员 发表于 2019-10-6 15:28:37 | 显示全部楼层
要用层级采集,参看:https://www.gooseeker.com/doc/article-343-1.html
规划好要用多少层,然后一层层做规则
举报 使用道具
Fuller 管理员 发表于 2019-10-6 15:37:29 | 显示全部楼层
爬取百度贴吧的帖子和评论有现成的快捷工具
举报 使用道具
920238831 新手上路 发表于 2019-10-6 16:08:15 | 显示全部楼层
Fuller 发表于 2019-10-6 15:37
爬取百度贴吧的帖子和评论有现成的快捷工具

那请问在设置层级的同时如何设置关键字筛选呢?
举报 使用道具
Fuller 管理员 发表于 2019-10-6 19:31:38 | 显示全部楼层
920238831 发表于 2019-10-6 16:08
那请问在设置层级的同时如何设置关键字筛选呢?

你所说的关键词筛选是要达到什么目的?是要像使用百度搜索那样用关键词进行搜索吗?
举报 使用道具
920238831 新手上路 发表于 2019-10-7 09:50:14 | 显示全部楼层
Fuller 发表于 2019-10-6 19:31
你所说的关键词筛选是要达到什么目的?是要像使用百度搜索那样用关键词进行搜索吗?
...

是的
举报 使用道具
Fuller 管理员 发表于 2019-10-7 09:59:13 | 显示全部楼层

在百度贴吧里面手工做一次搜索,你会看到网址中含有搜索的关键词,所以,想搜其他关键词的话,就把关键词替换到网址中。这样可以构造出很多网址,交给爬虫去爬
举报 使用道具
920238831 新手上路 发表于 2019-10-7 10:41:57 | 显示全部楼层
Fuller 发表于 2019-10-7 09:59
在百度贴吧里面手工做一次搜索,你会看到网址中含有搜索的关键词,所以,想搜其他关键词的话,就把关键词 ...

不是,我是想在搜关于帖子,或者评论的关键词

举报 使用道具
Fuller 管理员 发表于 2019-10-7 11:05:33 | 显示全部楼层
920238831 发表于 2019-10-7 10:41
不是,我是想在搜关于帖子,或者评论的关键词

举个例子吧,发个网址出来看看
举报 使用道具
920238831 新手上路 发表于 2019-10-7 11:27:33 | 显示全部楼层
我现在想自己设置层级的同时加入关键字筛选,比如说这个网页http://tieba.baidu.com/f?ie=utf-8&kw=%E5%8F%8C%E7%9C%BC%E7%9A%AE&fr=search爬了帖子标题有关键字“双眼皮”,然后进入该帖子爬评论区里有关键字“双眼皮”的评论。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • NLP文本情感分析入门
  • 机器学习算法入门介绍
  • 中文分词入门和分词工具汇总攻略
  • 自然语言处理NLP的一般处理流程
  • 关于鸿蒙操作系统的知乎讨论热点分析

热门用户

GMT+8, 2019-10-16 00:27