编写了一个规则 想抓取一下微博的点赞用户网址,为下一步抓取具体信息做准备。写完测试可以获取想要的信息。但是单搜的时候,会自动转跳到抓取了的网页上,但是我的规则里并没有设置连续动作。很是奇怪,请管理员和大家帮忙看下,谢谢! 规则主题名是“gai点赞” 谢谢!
举报 使用道具
| 回复

共 18 个关于本帖的回复 最后回复于 2017-9-12 10:06

沙发
bowieD 金牌会员 发表于 2017-9-11 15:28:28 | 只看该作者
本帖最后由 bowieD 于 2017-9-11 15:33 编辑

自动跳转到抓取了的页面上是什么意思?运行你的规则似乎没有问题,也没有报错,可以顺利把网址抓取下来,加载规则后先要进行登陆。

5.jpg (72.76 KB, 下载次数: 787)

5.jpg
举报 使用道具
板凳
dian2k2 初级会员 发表于 2017-9-11 15:49:56 | 只看该作者
bowieD 发表于 2017-9-11 15:28
自动跳转到抓取了的页面上是什么意思?运行你的规则似乎没有问题,也没有报错,可以顺利把网址抓取下来,加 ...

额 意思就是 我本来是在页面1上的,但是,最后出来的线索号是跑到了另外一个页面,这个页面是下方点赞了的用户的主页

TIM截图20170911154701.png (705.53 KB, 下载次数: 655)

页面1

页面1
举报 使用道具
地板
dian2k2 初级会员 发表于 2017-9-11 15:50:43 | 只看该作者
bowieD 发表于 2017-9-11 15:28
自动跳转到抓取了的页面上是什么意思?运行你的规则似乎没有问题,也没有报错,可以顺利把网址抓取下来,加 ...

在测试中确实是可以抓取到我要的内容,但是一上“单搜”,就报错了。
举报 使用道具
5#
shengchengx 金牌会员 发表于 2017-9-11 15:51:39 | 只看该作者
dian2k2 发表于 2017-9-11 15:50
在测试中确实是可以抓取到我要的内容,但是一上“单搜”,就报错了。

打开滚屏,然后超长时长时间改长一点,网页需要加载完全之后才能正常抓取。
举报 使用道具
6#
dian2k2 初级会员 发表于 2017-9-11 16:07:36 | 只看该作者
shengchengx 发表于 2017-9-11 15:51
打开滚屏,然后超长时长时间改长一点,网页需要加载完全之后才能正常抓取。
...

但是转跳的那个页面上 没有我要的数据啊
举报 使用道具
7#
shengchengx 金牌会员 发表于 2017-9-11 16:10:59 | 只看该作者
dian2k2 发表于 2017-9-11 16:07
但是转跳的那个页面上 没有我要的数据啊

我这边测试的时候是不会跳转的,你检查下打数机设置,看看是不是自己手动点到了、
举报 使用道具
8#
dian2k2 初级会员 发表于 2017-9-11 16:12:39 | 只看该作者
shengchengx 发表于 2017-9-11 15:51
打开滚屏,然后超长时长时间改长一点,网页需要加载完全之后才能正常抓取。
...

设置了超时时间到120s 滚屏5次 依旧报错。转跳过去的那个页面没有我映射的东西,所以报规则不合适的问题也是没错。关键是,我没设置转跳啊。。。。
举报 使用道具
9#
dian2k2 初级会员 发表于 2017-9-11 16:13:44 | 只看该作者
shengchengx 发表于 2017-9-11 16:10
我这边测试的时候是不会跳转的,你检查下打数机设置,看看是不是自己手动点到了、
...

好的
举报 使用道具
10#
dian2k2 初级会员 发表于 2017-9-11 16:23:58 | 只看该作者
shengchengx 发表于 2017-9-11 16:10
我这边测试的时候是不会跳转的,你检查下打数机设置,看看是不是自己手动点到了、
...

请问下 您是在编写规则的那里点“测试”没有问题呢 还是在打数机里 “单搜”状态没有问题? 我这边,前者是没有问题,可以抓取,但是一上打数机,就报错了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-26 18:06