需要采集的内容在网页上部,采集内容下部还有很多无关的数据,采集时集搜客会把网页加载到底部。怎样设置可以让采集时完成采集需要的数据后不用往下加载网页而浪费采集时间?求帮助...谢谢!
规则名称:球探亚盘

2.jpg (119.07 KB, 下载次数: 747)

2.jpg
举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2017-5-14 08:14

沙发
Fuller 管理员 发表于 2017-5-13 23:58:46 | 只看该作者
你的意思是不是不让自动滚屏?那样很容易设置,DS打数机菜单 配置-〉滚屏参数,把滚屏次数设置成0就可以了。如果运行爬虫群,那么要在会员中心设置调度参数,在菜单上做的设置只给单搜和集搜使用
举报 使用道具
板凳
hhyyq6 初级会员 发表于 2017-5-14 00:10:43 | 只看该作者
就是在采集的时候,网页一直会往下拉倒最后,搜索是否有相同格式的内容吧?设置滚屏为0可以吗?还有就是启用爬虫群后的数据导入压缩包还要请教您下...
举报 使用道具
地板
hhyyq6 初级会员 发表于 2017-5-14 00:16:12 | 只看该作者
Fuller 发表于 2017-5-13 23:58
你的意思是不是不让自动滚屏?那样很容易设置,DS打数机菜单 配置-〉滚屏参数,把滚屏次数设置成0就可以了 ...

就是在采集的时候,网页一直会往下拉倒最后,搜索是否有相同格式的内容吧?设置滚屏为0可以吗?还有就是启用爬虫群后的数据导入压缩包还要请教您下...
滚屏次数都是默认为0的啊?

2.jpg (30.74 KB, 下载次数: 712)

2.jpg
举报 使用道具
5#
Fuller 管理员 发表于 2017-5-14 00:20:11 | 只看该作者
hhyyq6 发表于 2017-5-14 00:16
就是在采集的时候,网页一直会往下拉倒最后,搜索是否有相同格式的内容吧?设置滚屏为0可以吗?还有就是 ...

是的,滚屏次数设置成0,就不会自动往下拉了。但是要注意观察采集到的结果是否有漏的,自动滚屏因为放慢了采集速度,有防止遗漏的作用,因为很多动态内容是延后加载的
举报 使用道具
6#
hhyyq6 初级会员 发表于 2017-5-14 00:31:54 | 只看该作者
Fuller 发表于 2017-5-14 00:20
是的,滚屏次数设置成0,就不会自动往下拉了。但是要注意观察采集到的结果是否有漏的,自动滚屏因为放慢 ...

请问这是怎么回事?

2.jpg (34.66 KB, 下载次数: 805)

2.jpg
举报 使用道具
7#
hhyyq6 初级会员 发表于 2017-5-14 00:33:48 | 只看该作者
Fuller 发表于 2017-5-14 00:20
是的,滚屏次数设置成0,就不会自动往下拉了。但是要注意观察采集到的结果是否有漏的,自动滚屏因为放慢 ...

集搜设置为0确实管用
举报 使用道具
8#
maomao 论坛元老 发表于 2017-5-14 08:14:24 | 只看该作者
hhyyq6 发表于 2017-5-14 00:31
请问这是怎么回事?

这个不像是集搜客软件报的错,像是目标网站报错了,因为我们程序的报错都在下面的日志窗口和日志文件中。我们再让开发人员确认一下。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-27 14:29