本帖最后由 ouhhhachuntianhuahau 于 2016-9-24 15:19 编辑

在爬取评论后发现原来评论中的表情图没有被保存,请问这该怎么设置得到呢
还有,评论内容总是包括用户名,如下图C:\Users\oujiao\Desktop
想要把内容里的用户名去掉,应该怎么做呢

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2016-10-8 17:40

沙发
shenzhenwan10 金牌会员 发表于 2016-9-24 15:59:46 | 只看该作者
看了一下,微博评论中的表情是图片,采集文本内容是不包括图片的
举报 使用道具
板凳
shenzhenwan10 金牌会员 发表于 2016-9-24 16:00:44 | 只看该作者
可以当作网页片段采集,就可以包括文本和图片地址
举报 使用道具
地板
Fuller 管理员 发表于 2016-9-24 17:03:03 | 只看该作者
集搜客网络爬虫能同时下载图片,但是做规则的时候要勾上“下载图片”,个别类型的图片不一定能下载,比如,作为背景的图片,你发个网址我看看,看看这种图片是否可以下载

在Excel中,可以用个函数,把内容中的用户名删除
举报 使用道具
5#
ouhhhachuntianh 初级会员 发表于 2016-10-8 15:39:27 | 只看该作者
shenzhenwan10 发表于 2016-9-24 15:59
看了一下,微博评论中的表情是图片,采集文本内容是不包括图片的

[doge][doge][doge][喵喵][二哈][哆啦A梦吃惊],
可以把表情图变成这个样子吗
举报 使用道具
6#
Fuller 管理员 发表于 2016-10-8 15:43:28 | 只看该作者
ouhhhachuntianh 发表于 2016-10-8 15:39
[doge][doge][doge][喵喵][二哈][哆啦A梦吃惊],
可以把表情图变成这个样子吗

这种好像是在某些终端上这样显示,因为这类终端显示不了图片。

那么,这个信息就会在img的alt属性中,把这个属性作为抓取内容抓下来
举报 使用道具
7#
ouhhhachuntianh 初级会员 发表于 2016-10-8 16:19:01 | 只看该作者
Fuller 发表于 2016-10-8 15:43
这种好像是在某些终端上这样显示,因为这类终端显示不了图片。

那么,这个信息就会在img的alt属性中,把 ...

我想问一下,抓取这个img属性是可以通过自定义xpath来实现吗
举报 使用道具
8#
ym 版主 发表于 2016-10-8 16:36:38 | 只看该作者
ouhhhachuntianh 发表于 2016-10-8 16:19
我想问一下,抓取这个img属性是可以通过自定义xpath来实现吗

可以
举报 使用道具
9#
Fuller 管理员 发表于 2016-10-8 16:57:30 | 只看该作者
ouhhhachuntianh 发表于 2016-10-8 16:19
我想问一下,抓取这个img属性是可以通过自定义xpath来实现吗

alt属性在MS谋数台的DOM树中是有的,直接做内容映射就可以。

稍微有点麻烦的是:在微博中,是否出现表情图,出现多少个,出现在哪里,是很随意的,用MS谋数台的内容映射或者样例复制映射都不太合适。最简单的是用抓取html片段,把内容部分连文本带html标签都抓下来,其中也会包含alt属性。但是,这样做的话,就需要在使用数据的时候,自己想办法把alt匹配出来,比如,在excel中用函数进行搜索和提取
举报 使用道具
10#
ouhhhachuntianh 初级会员 发表于 2016-10-8 17:40:41 | 只看该作者
Fuller 发表于 2016-10-8 16:57
alt属性在MS谋数台的DOM树中是有的,直接做内容映射就可以。

稍微有点麻烦的是:在微博中,是否出现表情 ...

好的,我试试看
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-27 12:31