GooSeeker产品资源教程视频教程使用交流资讯
开启辅助访问 切换风格

集搜客GooSeeker网络爬虫

集搜客GooSeeker网络爬虫 › 官方文档 ›文档 › 查看内容

集搜客GooSeeker专有名词解释

2015-8-5 16:06| 发布者: ym| 查看: 228559| 评论: 12

摘要: 样本页面 指用户定义抓取规则的网页页面。样本页面的内容结构具有代表性，在一个样本页面上定义的抓取规则可以适用于相同结构的所有页面，比如，针对京东网的一个商品页面定义一个抓取规则，就能用于抓取所有相同结 ...
滚屏参数

在开启自动滚屏模式后，用来控制爬虫采集速度的参数，分为滚屏次数和滚屏速度。


  1. 滚屏次数（scrollMorePages）：额外滚屏次数，缺省值是0，表示不滚屏。 请注意，这里说“额外”，不是准确的滚屏次数。DS打数机总是要尽量滚屏到底，而长网页到底有多少屏一开始不知道，所以，用户无法设定准确数字，程序会根据网页长度变化情况自动调 整滚屏次数，这个数字可以看成是额外滚屏次数，即为了确保抓取最全的数据，在足够的滚屏次数之上额外增加的次数。滚屏功能用于抓取AJAX网页上的数据，这些数据一开始没有从服务 器上下载下来，直到用户滚动浏览器屏幕并在窗口中显示这些数据时才下载。常用取值：3 ~ 5。 如果设置太长，抓取一页就会等待更长时间。详细使用方法参见如何自动滚屏抓取AJAX网站数据
  2. 滚屏速度（scrollWindowRatio）：可正可负的整数，-1和1相同，表示不变速。< -1 表示降低速度，> 1 表示提高速度。如果要下载图片，一定要打开滚屏功能，因为不滚到可见位置，图片是不显示的，而且不能滚得太快，否则有些图片就来不及显示，如果使用crontab调度程序来控制采集任务，一个比较好的参数组合是 scrollMorePages = 5  scrollWindowRatio = -2

设置方法：

1、在DS打数机的“配置”菜单里，点击“滚屏参数”进行设置。

2、在crontab调度程序里设置滚屏速度（scrollWindowRatio）和滚屏次数（scrollMorePages）。


若有疑问可以或集搜客网络爬虫

1 ...151617181920212223下一页
34

鲜花
1

握手
雷人
5

路过
3

鸡蛋

刚表态过的朋友 (43 人)

收藏 邀请
下一篇：DS打数机的功能按钮

相关阅读

发表评论

最新评论

评论 Fuller 2018-3-17 09:34
oubinke: 那是不是有一种并行操作的意思呢？那同时抓取同一个主题的话，所得到的结果会不会重复呢
用爬虫群模式，设置好调度参数，规定要分布到多少个爬虫窗口中运行，就能并行抓取。这种用于很多网址的情况，如果只有一个网址，开再多爬虫也没有用
评论 oubinke 2018-3-16 19:32
bowieD: AJAX网页是动态加载的，打开一个网页往下拉，如果一直在加载新的内容就是动态加载的网页
好的，谢谢您
评论 oubinke 2018-3-16 19:32
bowieD: 每一个规则都可以用一个集搜窗口来运行采集，“与原来的管理窗口同时抓取网页数据”的意思是 是集搜窗口与管理窗口同时抓取同一个主题的网页数据。 ...
那是不是有一种并行操作的意思呢？那同时抓取同一个主题的话，所得到的结果会不会重复呢
评论 bowieD 2018-3-16 17:52
oubinke: 您好，请问如何判断一个网页是不是AJAX网页呢
AJAX网页是动态加载的，打开一个网页往下拉，如果一直在加载新的内容就是动态加载的网页
评论 bowieD 2018-3-16 17:51
oubinke: “点击主题的“集搜”按钮后，弹出“抓取网页”会话窗口，设置抓取线索数量并确定后，将会自动弹出新的简化版DS打数机窗口（集搜窗口），与原来的管理窗口同时抓 ...
每一个规则都可以用一个集搜窗口来运行采集，“与原来的管理窗口同时抓取网页数据”的意思是 是集搜窗口与管理窗口同时抓取同一个主题的网页数据。
评论 oubinke 2018-3-16 17:22
“点击主题的“集搜”按钮后，弹出“抓取网页”会话窗口，设置抓取线索数量并确定后，将会自动弹出新的简化版DS打数机窗口（集搜窗口），与原来的管理窗口同时抓取网页数据，能够高效抓取数据；”
您好，您文中所说的“与原来的管理窗口同时抓取网页数据”的意思是，是集搜窗口与管理窗口同时抓取同一个主题的网页数据？还是只是可以同时运行不同的主题而已。
评论 oubinke 2018-3-16 17:07
您好，请问如何判断一个网页是不是AJAX网页呢
评论 Fuller 2017-12-14 11:22
a12345617: 什么工具，一点都不会。完全不知道要干什么
从这个文档开始学：http://www.gooseeker.com/tuto/tutor_article.html?t=2  ，左栏有目录，展开《从入门到精通》，从头开始按照顺序看
评论 a12345617 2017-12-14 11:11
什么工具，一点都不会。完全不知道要干什么
评论 Fuller 2016-8-3 21:36
waq0902: 单搜和集搜的设置线索数是什么意思？什么情况下线索不是1？
手工启动的抓取需要输入线索数，意思是让爬虫只抓指定数量的线索。可以先统计一下，比如，统计出来有50条等待抓取的线索，可以输入50，或者大于50的数字，就会把所有线索抓一遍
评论 waq0902 2016-8-3 20:48
单搜和集搜的设置线索数是什么意思？什么情况下线索不是1？
评论 思秋忆 2015-8-13 11:31
点击导航栏的各个名词，为什么一直停留在目录页呢?能不能改进一下

查看全部评论(12)

相关分类

下级分类

热门排行

旧版
网站
社区
支持
常见问题
视频教程
速查手册
指导书
关于
公司简介
联系方式
友情链接
关注
新浪微博

GMT+8, 2024-11-21 20:16