11#
Fuller 管理员 发表于 2016-12-26 17:32:05 | 只看该作者
Givent 发表于 2016-12-26 17:18
激活规则1后单搜,出现这种情况了。没有定位到节点?

刚才我运行了你的规则,运行的挺好,建议你清除一下cookie吧。
举报 使用道具
12#
quyixuan 金牌会员 发表于 2016-12-26 17:38:17 | 只看该作者
Givent 发表于 2016-12-26 17:18
激活规则1后单搜,出现这种情况了。没有定位到节点?

去教程页搜索这句话可以搜出来一堆答案,你自己去找一下就行了

举报 使用道具
13#
Givent 中级会员 发表于 2016-12-26 18:03:43 | 只看该作者
Fuller 发表于 2016-12-26 17:32
刚才我运行了你的规则,运行的挺好,建议你清除一下cookie吧。

Fuller哥,我清除了cookie,你也是激活规则1线索单搜下,爬虫就一直爬么?没有其他操作了?
我激活 后单搜,爬一会就不爬了。
举报 使用道具
14#
Fuller 管理员 发表于 2016-12-26 18:55:59 | 只看该作者
Givent 发表于 2016-12-26 18:03
Fuller哥,我清除了cookie,你也是激活规则1线索单搜下,爬虫就一直爬么?没有其他操作了?
我激活 后单 ...

我测试了,一次运行能点击20个。刚好就是当前两屏的。这个刚好跟你的crontab.xml配合起来。本来就像到一定数量以后断掉
举报 使用道具
15#
Givent 中级会员 发表于 2016-12-27 06:41:05 | 只看该作者
Fuller 发表于 2016-12-26 18:55
我测试了,一次运行能点击20个。刚好就是当前两屏的。这个刚好跟你的crontab.xml配合起来。本来就像到一定 ...

我这次把crontab给删了,就想让爬虫一直爬,这样重复率好像比较低,点击单搜后,爬虫只抓取大概50多个数据就停在那里了。

举报 使用道具
16#
Givent 中级会员 发表于 2016-12-27 09:18:11 | 只看该作者
Fuller 发表于 2016-12-26 18:55
我测试了,一次运行能点击20个。刚好就是当前两屏的。这个刚好跟你的crontab.xml配合起来。本来就像到一定 ...

我说下我的操作步骤啊。麻烦您帮看下哪步错了首先我把crontab文件删了,直接一直爬。
激活规则1所有线索,点击单搜


然后爬虫爬了大概20条的数据,就停了。就再也不爬了。不知道这是什么问题呢?
举报 使用道具
17#
Fuller 管理员 发表于 2016-12-27 09:24:52 | 只看该作者
Givent 发表于 2016-12-27 09:18
我说下我的操作步骤啊。麻烦您帮看下哪步错了首先我把crontab文件删了,直接一直爬。
激活规则1所有线索 ...

是的,就是20条,第一次网页加载就是20条,这样挺好,后面的都是重复数据。20条数据的发布时间超过30分钟。所以,使用crontab.xml文件,把激活时间设置成20分钟,刚好合适。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-28 23:11