我想问一下, 用360搜索, 百度搜索这些搜出来的的结果, 点开详情链接后对应到那么多网站, 这个该怎么做规则抓取?
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2020-7-16 17:59

沙发
内容分析应用 金牌会员 发表于 2020-7-16 16:04:56 | 只看该作者
有些内容,比如:标题, 时间, 域名, 这些在搜索结果的列表页可以抓取到。
对于点开每个链接后的详情页的内容, 可以做一个通用的抓取规则, 抓取页面上的纯文本内容, 或者再加上html。


举报 使用道具
板凳
Fuller 管理员 发表于 2020-7-16 17:59:13 | 只看该作者
集搜客网络爬虫可以把整个网页片段采集下来,或者仅仅把其中的文字采集下来。定义好抓取内容以后,在高级设置那里勾选不同的选项。

同时还可以下载图片。不用再用另外的软件下载,能够在采集文字的同时下载图片,比如,在网页片段内下载所有图片:https://www.gooseeker.com/doc/article-475-1.html

更多下载图片的教程参看中级教程部分

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 15:19