11#
Fuller 管理员 发表于 2016-7-15 15:17:07 | 只看该作者
12325445 发表于 2016-7-15 13:42
我看了下,我复制的样例属于同一个节点下啊

你这个MS谋数台是什么版本号?刚刚下载的吗?出现这个问题很特别,暂时可以这样解决:

到MS谋数台的命名主题工作台,页面地址输入栏中有什么内容?手工修改一下,比如,把当前网址输入进去
举报 使用道具
12#
12325445 初级会员 发表于 2016-7-15 15:50:14 | 只看该作者
ym 发表于 2016-7-15 15:13
你主题名是什么?我帮你看看规则,你之前写的主题名是错的

融360宝宝理财产品
举报 使用道具
13#
12325445 初级会员 发表于 2016-7-15 15:58:23 | 只看该作者
Fuller 发表于 2016-7-15 15:17
你这个MS谋数台是什么版本号?刚刚下载的吗?出现这个问题很特别,暂时可以这样解决:

到MS谋数台的命名 ...

谋数台版本:v6.0.1.0004
刚刚试了一下,按你的方法,修改输入网址后可以进行保存
这具体是什么原因造成的呢?
举报 使用道具
14#
Fuller 管理员 发表于 2016-7-15 16:59:11 | 只看该作者
12325445 发表于 2016-7-15 15:58
谋数台版本:v6.0.1.0004
刚刚试了一下,按你的方法,修改输入网址后可以进行保存
这具体是什么原因造成 ...

这个问题需要去分析源代码才能确定原因。你这个规则是加载以后进行修改的吗?
举报 使用道具
15#
12325445 初级会员 发表于 2016-7-15 17:17:19 | 只看该作者
Fuller 发表于 2016-7-15 16:59
这个问题需要去分析源代码才能确定原因。你这个规则是加载以后进行修改的吗?  ...

不是的,我是直接新建的规则哦
举报 使用道具
16#
12325445 初级会员 发表于 2016-7-15 17:27:26 | 只看该作者
Fuller 发表于 2016-7-15 16:59
这个问题需要去分析源代码才能确定原因。你这个规则是加载以后进行修改的吗?  ...

您好,我用设计了支持翻页的爬虫规则,但保存规则后,进行爬数据;
在打数机内,显示手动调试,每次都得我自己翻页,才能爬取当前页面,没有办法自动翻页爬去,如果我不手动翻页,就只会爬取当前页面的数据
已经按照教程进行连续动作设计了
具体如图;

捕获.JPG (41.41 KB, 下载次数: 791)

翻页爬取,打数机状态

翻页爬取,打数机状态
举报 使用道具
17#
ym 版主 发表于 2016-7-15 17:33:01 | 只看该作者
12325445 发表于 2016-7-15 17:27
您好,我用设计了支持翻页的爬虫规则,但保存规则后,进行爬数据;
在打数机内,显示手动调试,每次都得 ...

去爬虫路线里设置翻页,如果没有执行到翻页,说明翻页设置不合适,要调整优化一下,可以参考翻页的集锦教程http://www.gooseeker.com/doc/thread-698-1-1.html
举报 使用道具
18#
12325445 初级会员 发表于 2016-7-26 10:25:17 | 只看该作者
ym 发表于 2016-7-15 17:33
去爬虫路线里设置翻页,如果没有执行到翻页,说明翻页设置不合适,要调整优化一下,可以参考翻页的集锦教 ...

您好,我按照问题集锦里的方法试过,但并未解决自动翻页抓取问题,我的主题名为:中财网;规则名称为:中财网银行理财,能否麻烦您帮我看下
举报 使用道具
19#
Fuller 管理员 发表于 2016-7-26 16:30:22 | 只看该作者
12325445 发表于 2016-7-26 10:25
您好,我按照问题集锦里的方法试过,但并未解决自动翻页抓取问题,我的主题名为:中财网;规则名称为:中 ...

我测试了,你这个网址有个特点:点击下一页的时候,会弹出一个新窗口。

这种会弹窗的,要抓取必须开通“飞掠模式”。

但是,这个网站还有个特点:每个分页都有独立的网址,所以,抓取的时候就不那么麻烦了,比如:
http://quote.cfi.cn/YHFinanceFil ... yqsyl&sort=desc
http://quote.cfi.cn/YHFinanceFil ... yqsyl&sort=desc
http://quote.cfi.cn/YHFinanceFil ... yqsyl&sort=desc
每一页的pgIndex都有不同的值,你在excel中构造好网址,从会员中心的添加线索功能导入进去。在你的规则中就不要定义翻页规则了。
举报 使用道具
20#
12325445 初级会员 发表于 2016-7-26 16:53:03 | 只看该作者
Fuller 发表于 2016-7-26 16:30
我测试了,你这个网址有个特点:点击下一页的时候,会弹出一个新窗口。

这种会弹窗的,要抓取必须开通“ ...

飞掠模式,是付费功能是吧?
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-24 04:36