爬虫规则:百度_1_关键字搜索
目的:1 从关键字集中连续导入、搜索;2 从搜索结果链接到详细页面,爬取详细数据
大神,重做了爬虫,连续动作可以做了,但有以下问题:
1 点击之后并没有执行页面的搜索功能(或者是等待时间太短,直接执行了下一个连续动作?)
2 设定搜索结果列表中的链接为下级线索进行层级搜索,但并没有执行
3 对百度_1设定了文件导入的200条关键字,但执行时仍然只执行了设定规则时的默认3条关键字,管理界面又显示已执行了5个关键字的爬取
4 是我的连续动作与层级结构设置有问题吗?

举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2017-6-20 11:43

沙发
shengchengx 金牌会员 发表于 2017-6-20 11:15:21 | 只看该作者
添加关键词的时候动作名称要对的上

举报 使用道具
板凳
我离女神只有一字之遥 初级会员 发表于 2017-6-20 11:19:14 | 只看该作者
已经添加,但在执行时只执行了规则设定时默认的3个关键字,并且这里显示执行完成了5条。
举报 使用道具
地板
shengchengx 金牌会员 发表于 2017-6-20 11:27:22 | 只看该作者
我离女神只有一字之遥 发表于 2017-6-20 11:19
已经添加,但在执行时只执行了规则设定时默认的3个关键字,并且这里显示执行完成了5条。 ...

规则管理里可以看规则关系图

举报 使用道具
5#
shengchengx 金牌会员 发表于 2017-6-20 11:27:49 | 只看该作者
我离女神只有一字之遥 发表于 2017-6-20 11:19
已经添加,但在执行时只执行了规则设定时默认的3个关键字,并且这里显示执行完成了5条。 ...

连续动作里的输入动作名称要对应
举报 使用道具
6#
shengchengx 金牌会员 发表于 2017-6-20 11:35:40 | 只看该作者
输入动作输入一条线索执行五个关键词搜索
举报 使用道具
7#
我离女神只有一字之遥 初级会员 发表于 2017-6-20 11:36:55 | 只看该作者
shengchengx 发表于 2017-6-20 11:27
连续动作里的输入动作名称要对应

改了输入动作,还是只执行了5条。但层级采集没执行,帮忙看看哪里有问题
还有就是怎么批量删除已加的关键字啊,目前只知道重新更新规则= =
搜索动作也没有执行

举报 使用道具
8#
shengchengx 金牌会员 发表于 2017-6-20 11:39:23 | 只看该作者
我离女神只有一字之遥 发表于 2017-6-20 11:36
改了输入动作,还是只执行了5条。但层级采集没执行,帮忙看看哪里有问题
还有就是怎么批量删除已加的关键 ...

层级抓取是两个规则
你用爬虫群可以并发执行但是是两个任务
举报 使用道具
9#
我离女神只有一字之遥 初级会员 发表于 2017-6-20 11:42:21 | 只看该作者
shengchengx 发表于 2017-6-20 11:39
层级抓取是两个规则
你用爬虫群可以并发执行但是是两个任务

在执行层级抓取的第一层下级线索生成时匹配出错了
举报 使用道具
10#
shengchengx 金牌会员 发表于 2017-6-20 11:43:17 | 只看该作者
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-5 20:49