我想问一下, 用360搜索, 百度搜索这些搜出来的的结果, 点开详情链接后对应到那么多网站, 这个该怎么做规则抓取?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-7-16 17:59

沙发
内容分析应用 金牌会员 发表于 2020-7-16 16:04:56 | 只看该作者
有些内容,比如:标题, 时间, 域名, 这些在搜索结果的列表页可以抓取到。
对于点开每个链接后的详情页的内容, 可以做一个通用的抓取规则, 抓取页面上的纯文本内容, 或者再加上html。


举报 使用道具
板凳
Fuller 管理员 发表于 2020-7-16 17:59:13 | 只看该作者
集搜客网络爬虫可以把整个网页片段采集下来,或者仅仅把其中的文字采集下来。定义好抓取内容以后,在高级设置那里勾选不同的选项。

同时还可以下载图片。不用再用另外的软件下载,能够在采集文字的同时下载图片,比如,在网页片段内下载所有图片:https://www.gooseeker.com/doc/article-475-1.html

更多下载图片的教程参看中级教程部分

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-21 23:27