规则名称:项目图片数量和更新数量
抓视频的时候是
用的是class定位标志映射
抓取图片的时候是将src映射,并作样例复制,但是抓取的时候许多网址抓取的内容都是空的,这是什么原因?

举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2017-2-28 17:22

沙发
scraper 论坛元老 发表于 2017-2-28 15:29:48 | 只看该作者

不是所有节点都有图片网址

举报 使用道具
板凳
saly123 中级会员 发表于 2017-2-28 15:48:20 | 只看该作者
scraper 发表于 2017-2-28 15:29
不是所有节点都有图片网址

那应该怎么样才能够把图片都抓下,还有视频?
举报 使用道具
地板
scraper 论坛元老 发表于 2017-2-28 15:58:53 | 只看该作者
saly123 发表于 2017-2-28 15:48
那应该怎么样才能够把图片都抓下,还有视频?

你试试不对“图片”做样例复制 直接把包含全部图片的父节点映射给“图片网址” 然后高级设置勾选图片网址
这个网站太慢了 我无法测试

举报 使用道具
5#
saly123 中级会员 发表于 2017-2-28 16:53:01 | 只看该作者
scraper 发表于 2017-2-28 15:58
你试试不对“图片”做样例复制 直接把包含全部图片的父节点映射给“图片网址” 然后高级设置勾选图片网址 ...

那视频呢?
举报 使用道具
6#
scraper 论坛元老 发表于 2017-2-28 16:56:26 | 只看该作者
视频指哪里?
举报 使用道具
7#
saly123 中级会员 发表于 2017-2-28 17:01:45 | 只看该作者

首页的视频,就是一打开就有的视频就像这样:
举报 使用道具
8#
scraper 论坛元老 发表于 2017-2-28 17:06:08 | 只看该作者
saly123 发表于 2017-2-28 17:01
首页的视频,就是一打开就有的视频就像这样:

那你就找到视频网址直接映射 需要样例复制就做上


举报 使用道具
9#
saly123 中级会员 发表于 2017-2-28 17:08:00 | 只看该作者
本帖最后由 saly123 于 2017-2-28 17:12 编辑
saly123 发表于 2017-2-28 17:01
首页的视频,就是一打开就有的视频就像这样:

视频结点是这样的,视频没有网址

举报 使用道具
10#
scraper 论坛元老 发表于 2017-2-28 17:15:16 | 只看该作者
saly123 发表于 2017-2-28 17:08
视频结点是这样的,视频没有网址

视频没有网址那就采不到了

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 19:06