本帖最后由 ouhhhachuntianhuahau 于 2016-9-24 15:19 编辑

在爬取评论后发现原来评论中的表情图没有被保存,请问这该怎么设置得到呢 1.png
还有,评论内容总是包括用户名,如下图C:\Users\oujiao\Desktop
想要把内容里的用户名去掉,应该怎么做呢

无标题.png
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2016-10-8 17:40

shenzhenwan10 金牌会员 发表于 2016-9-24 15:59:46 | 显示全部楼层
看了一下,微博评论中的表情是图片,采集文本内容是不包括图片的
举报 使用道具
shenzhenwan10 金牌会员 发表于 2016-9-24 16:00:44 | 显示全部楼层
可以当作网页片段采集,就可以包括文本和图片地址
举报 使用道具
Fuller 管理员 发表于 2016-9-24 17:03:03 | 显示全部楼层
集搜客网络爬虫能同时下载图片,但是做规则的时候要勾上“下载图片”,个别类型的图片不一定能下载,比如,作为背景的图片,你发个网址我看看,看看这种图片是否可以下载

在Excel中,可以用个函数,把内容中的用户名删除
举报 使用道具
ouhhhachuntianh 初级会员 发表于 2016-10-8 15:39:27 | 显示全部楼层
shenzhenwan10 发表于 2016-9-24 15:59
看了一下,微博评论中的表情是图片,采集文本内容是不包括图片的

[doge][doge][doge][喵喵][二哈][哆啦A梦吃惊],
可以把表情图变成这个样子吗
举报 使用道具
Fuller 管理员 发表于 2016-10-8 15:43:28 | 显示全部楼层
ouhhhachuntianh 发表于 2016-10-8 15:39
[doge][doge][doge][喵喵][二哈][哆啦A梦吃惊],
可以把表情图变成这个样子吗

这种好像是在某些终端上这样显示,因为这类终端显示不了图片。

那么,这个信息就会在img的alt属性中,把这个属性作为抓取内容抓下来
举报 使用道具
ouhhhachuntianh 初级会员 发表于 2016-10-8 16:19:01 | 显示全部楼层
Fuller 发表于 2016-10-8 15:43
这种好像是在某些终端上这样显示,因为这类终端显示不了图片。

那么,这个信息就会在img的alt属性中,把 ...

我想问一下,抓取这个img属性是可以通过自定义xpath来实现吗
举报 使用道具
ym 版主 发表于 2016-10-8 16:36:38 | 显示全部楼层
ouhhhachuntianh 发表于 2016-10-8 16:19
我想问一下,抓取这个img属性是可以通过自定义xpath来实现吗

可以
举报 使用道具
Fuller 管理员 发表于 2016-10-8 16:57:30 | 显示全部楼层
ouhhhachuntianh 发表于 2016-10-8 16:19
我想问一下,抓取这个img属性是可以通过自定义xpath来实现吗

alt属性在MS谋数台的DOM树中是有的,直接做内容映射就可以。

稍微有点麻烦的是:在微博中,是否出现表情图,出现多少个,出现在哪里,是很随意的,用MS谋数台的内容映射或者样例复制映射都不太合适。最简单的是用抓取html片段,把内容部分连文本带html标签都抓下来,其中也会包含alt属性。但是,这样做的话,就需要在使用数据的时候,自己想办法把alt匹配出来,比如,在excel中用函数进行搜索和提取
举报 使用道具
ouhhhachuntianh 初级会员 发表于 2016-10-8 17:40:41 | 显示全部楼层
Fuller 发表于 2016-10-8 16:57
alt属性在MS谋数台的DOM树中是有的,直接做内容映射就可以。

稍微有点麻烦的是:在微博中,是否出现表情 ...

好的,我试试看
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-28 22:20