能不能搜索一个网站的关键词
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2016-12-6 11:58

沙发
HJLing 版主 发表于 2016-12-6 11:55:13 | 只看该作者
你说的"搜索一个网站的关键词"是指什么
举报 使用道具
板凳
追逐阳光的单车 初级会员 发表于 2016-12-6 11:55:54 | 只看该作者
HJLing 发表于 2016-12-6 11:55
你说的"搜索一个网站的关键词"是指什么

把一个网站含有指定关键词的网页全搜出来
举报 使用道具
地板
HJLing 版主 发表于 2016-12-6 11:56:19 | 只看该作者
追逐阳光的单车 发表于 2016-12-6 11:55
把一个网站含有指定关键词的网页全搜出来

网站本身有搜索功能就好做
如果没有,需要爬全站
举报 使用道具
5#
追逐阳光的单车 初级会员 发表于 2016-12-6 11:56:51 | 只看该作者
HJLing 发表于 2016-12-6 11:56
网站本身有搜索功能就好做
如果没有,需要爬全站

爬全站规则很复杂吗
举报 使用道具
6#
HJLing 版主 发表于 2016-12-6 11:57:05 | 只看该作者

不复杂,就是爬的数量多
举报 使用道具
7#
HJLing 版主 发表于 2016-12-6 11:58:08 | 只看该作者
可以做一个通用的规则, 用来提取每个网页的html
剩下的就是从一个入口网址开始, 把网站的所有网址都弄下来, 一个个访问
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 06:23