问题描述:
1、「产品」中的「微博点赞数据采集」功能失效,输入网址进行采集之后,在「数据管理」中无法打包下载数据(显示数据为0),请问这是因为什么原因呢?
2、于是想着自己写规则(主题名:微博点赞_whuhzx),但是测试的过程中发现,只能采集一个页面的点赞用户,然后就显示采集完成了,试了很多次都无法解决这个问题,不知道是因为什么原因?
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2018-6-11 12:14

沙发
maomao 论坛元老 发表于 2018-6-10 21:37:59 | 只看该作者
本帖最后由 maomao 于 2018-6-10 21:57 编辑

您好,问题1,输入的网址是什么?我们测一下。
举报 使用道具
板凳
whuhzx 中级会员 发表于 2018-6-10 22:45:36 | 只看该作者
maomao 发表于 2018-6-10 21:37
您好,问题1,输入的网址是什么?我们测一下。

https://www.weibo.com/3937348351 ... e#_rnd1528641746899
在采集器上可以翻到最后一页,但是数据管理中没有数据。感谢~
举报 使用道具
地板
maomao 论坛元老 发表于 2018-6-10 22:47:48 | 只看该作者
我加载了你的规则,查看翻页规则,看到的xpath是
  1. //*[.//text()="下一页" and @class='page next S_txt1 S_line1']
复制代码
这表示要点击的那个节点是含有@class='page next S_txt1 S_line1' 的A节点
可以重新设置一下翻页区,用A下面的SPAN做翻页区,得到
  1. //*[@class='page next S_txt1 S_line1']/span[.//text()="下一页"]
复制代码
这样就是点击A下面的SPAN,微博好几个页面就是这样的,要把点击动作放在内部的节点上

举报 使用道具
5#
maomao 论坛元老 发表于 2018-6-10 22:49:30 | 只看该作者
我测试了,按照我上一个帖子说的,用A下面的SPAN作为翻页区,翻页是成功的
举报 使用道具
6#
maomao 论坛元老 发表于 2018-6-10 23:12:48 | 只看该作者
whuhzx 发表于 2018-6-10 22:45
https://www.weibo.com/3937348351/DdTj50ESH?from=page_1001063937348351_profile&wvr=42&mod=weibotime ...

我用你的网址测试了下,是可以打包的。明天让开发人员看看你的账号情况。
举报 使用道具
7#
maomao 论坛元老 发表于 2018-6-11 07:52:33 | 只看该作者
看下载历史,你是去年下载过Gooseeker爬虫软件。可以下载最新版的软件,再试试。
举报 使用道具
8#
whuhzx 中级会员 发表于 2018-6-11 12:14:48 | 只看该作者
maomao 发表于 2018-6-11 07:52
看下载历史,你是去年下载过Gooseeker爬虫软件。可以下载最新版的软件,再试试。 ...

真是太感谢了,根据您提供的方法,两个问题都解决了。再次感谢!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 04:31