我做了一个连续动作 输入关键词 搜索 点击下载图标。 但是如何实现 连续点击啊? 就是光标自动移到下一行 再点下载,依次类推……

1.png (105.16 KB, 下载次数: 965)

1.png

0000.png (82.52 KB, 下载次数: 962)

0000.png
举报 使用道具
| 回复

共 11 个关于本帖的回复 最后回复于 2016-10-11 16:39

沙发
Fuller 管理员 发表于 2016-10-11 09:33:57 | 只看该作者
已经安排了技术人员做测试,似乎程序在处理这种情况的时候有问题,你是否也遇到了这样的日志?
举报 使用道具
板凳
ym 版主 发表于 2016-10-11 09:38:12 | 只看该作者
本帖最后由 ym 于 2016-10-11 09:40 编辑

可以用另一种方法实现自动下载,不用做连续动作,而是做层级抓取,把下载链接抓下来,并设置下级线索,运行下级规则就会逐个文件下载,注意:这里要用火狐插件版爬虫来实现自动下载文件。
详细操作见http://www.gooseeker.com/doc/article-175-1.html
举报 使用道具
地板
Fuller 管理员 发表于 2016-10-11 09:45:18 | 只看该作者


是的,像上楼说的,用层级抓取就行了,每个下载图标都有一个独立的网址。

你这个主题连续动作只管做下面的事情
1)输入查询条件
2)点击“检索”按钮

然后就抓数据,其中下载网址当成数据抓下来,同时勾上“下级线索”,构成一个二级抓取
举报 使用道具
5#
winter678 初级会员 发表于 2016-10-11 11:21:07 | 只看该作者
Fuller 发表于 2016-10-11 09:45
是的,像上楼说的,用层级抓取就行了,每个下载图标都有一个独立的网址。

你这个主题连续动作只管做下面 ...

我按照 知网视频教程,先命名了一个主题,然后,抓了检索按钮作为key,然后做好了 连续动作 1)输入条件2)点击检索 ,那么我现有的这个主题名下已经有一个规则 就是抓检索的key。  那新的用来抓下载地址的层级抓取规则 应该是在这个主题名下接着做 还是新建一个?
举报 使用道具
6#
Fuller 管理员 发表于 2016-10-11 11:24:16 | 只看该作者
winter678 发表于 2016-10-11 11:21
我按照 知网视频教程,先命名了一个主题,然后,抓了检索按钮作为key,然后做好了 连续动作 1)输入条件2 ...

你现在这个规则只抓 “key”,那么在这个规则的“连续动作”工作台上另外命名一个新规则。并且给这个新规则定义抓取内容,把下载地址抓下来
举报 使用道具
7#
winter678 初级会员 发表于 2016-10-11 11:31:34 | 只看该作者
Fuller 发表于 2016-10-11 09:45
是的,像上楼说的,用层级抓取就行了,每个下载图标都有一个独立的网址。

你这个主题连续动作只管做下面 ...

还有 抓数据时候,我看你的截图 里面要抓那个href 到整理箱是吧?   但怎么把这个映射到整理箱呢? 还有  需要做样例复制是吧?
举报 使用道具
8#
winter678 初级会员 发表于 2016-10-11 11:43:51 | 只看该作者
ym 发表于 2016-10-11 09:38
可以用另一种方法实现自动下载,不用做连续动作,而是做层级抓取,把下载链接抓下来,并设置下级线索,运行 ...

我看了 您发的链接, 现在流程有点疑惑:
我要实现三个大  步骤
一、连续动作知网  输入 查询条件 ,并点击 “检索” (命名主题1)

二、根据你发的链接教程,制作层级搜索的下载规则(命名主题2),抓href字段。
这里是否做样例复制,让其能往下自动抓取第2行,3行等文献的下载链接?
三、新建一个专门用于自动下载的规则,规则名随意,比如叫“命名主题3”,规则内容可以是抓取任意一个简单网页上的一个字段,保存这个规则。这里选用知网“检索”当做KEY可以吗?
四、根据你发的链接教程,在“爬虫路线里”目标主题里填写前面定义的自动下载规则名“命名主题3”

以上流程是否正确?
举报 使用道具
9#
winter678 初级会员 发表于 2016-10-11 12:41:54 | 只看该作者
ym 发表于 2016-10-11 09:38
可以用另一种方法实现自动下载,不用做连续动作,而是做层级抓取,把下载链接抓下来,并设置下级线索,运行 ...

我三个规则名  分别是  “下载知网文献20161010” 对应 “命名主题1”;
“下载知网文献20161010层级抓取”对应“命名主题2";
”下载知网文献20161010随便"对应“命名主题3”

您能帮我看看吗?

我就运行“下载知网文献20161010层级抓取” 想下第一个 都没成功 怎么回事?
举报 使用道具
10#
ym 版主 发表于 2016-10-11 15:30:43 | 只看该作者
winter678 发表于 2016-10-11 12:41
我三个规则名  分别是  “下载知网文献20161010” 对应 “命名主题1”;
“下载知网文献20161010层级抓取 ...

1、我说的这种方法是对免费下载的文件有效,需要收费的文件下载是不能跳过收费条件的。
知网上除了免费文献,其他文献下载是要付费的,如果你不是在校生,那么就要付费下载,这样就不能自动批量下载了

2、如果用我说的层级采集方法,你做的规则“下载知网文献20161010”的目标主题名要填“下载知网文献20161010层级抓取”,也没必要做第三个动作了,可以删掉。

3、层级规则是要分别运行两级规则的,你运行完第一级“下载知网文献20161010层级抓取”,再来运行第二级“下载知网文献20161010随便”。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-3 11:10