11#
Fuller 管理员 发表于 2021-3-19 17:41:55 | 只看该作者
17853145082 发表于 2021-3-19 16:42
我买了旗舰版了,但还是设置不好,您能帮帮我吗

1,要安装老版爬虫软件
首先,要下载老版本的网络爬虫:https://www.gooseeker.com/pro/product.html
2,定义滚轮动作
在老版网络爬虫上定义滚轮类连续动作,跟滚屏不一样,滚轮动作要设置一个鼠标放置的区域,在那个区域上滚轮子,具体参看教程:https://www.gooseeker.com/doc/article-408-1.html

针对这个网页,滚轮的区域应该是下图红框内的。根据网页上的滚动条区域确定滚轮区域。那么就在定位表达式中填入这个xpath。注意以下几点:
1. 截图上的滚动条我用蓝色圈起来了,可以看到这个滚动条是在网页某个区域的,不是整个窗口的,这种就要用滚轮
2. 我选择了这个区域中的顶上那块(黄色背景)作为滚轮区域。为他生成xpath,填入定位表达式那里
3. 滚屏类型的话,每次滚多少屏,滚轮类型的话,每次滚多少像素,要根据你的屏幕大小估计。比如,高度方向,笔记本电脑可能有800像素,那么一次滚1200像素比较合适。太大了就不滚了。



3. 运行爬虫
要注意首先要关闭DS大数机的自动滚屏,再运行这个任务。如下图,选择滚屏参数菜单,把滚屏次数设置成0

举报 使用道具
12#
17853145082 新手上路 发表于 2021-3-19 18:27:30 | 只看该作者
好的 谢谢你
我又搞了一下,他只滚一次就结束了,显示没有定义下级抓取规则
举报 使用道具
13#
scraper 论坛元老 发表于 2021-3-19 18:29:12 | 只看该作者
17853145082 发表于 2021-3-19 16:42
我买了旗舰版了,但还是设置不好,您能帮帮我吗

你现在编辑的采集规则名是什么,我们检查一下
举报 使用道具
14#
17853145082 新手上路 发表于 2021-3-19 18:30:48 | 只看该作者
scraper 发表于 2021-3-19 18:29
你现在编辑的采集规则名是什么,我们检查一下

集搜客会员购滚轮等级
举报 使用道具
15#
Fuller 管理员 发表于 2021-3-19 18:35:04 | 只看该作者
17853145082 发表于 2021-3-19 18:30
集搜客会员购滚轮等级

滚轮和滚屏都一样,下级规则的名字跟当前级一样
举报 使用道具
16#
17853145082 新手上路 发表于 2021-3-19 18:40:26 | 只看该作者
Fuller 发表于 2021-3-19 18:35
滚轮和滚屏都一样,下级规则的名字跟当前级一样

是不能一样吗滚轮和滚屏的名字?下级规则的名字跟当前级一样是什么意思呀?小白不太懂
举报 使用道具
17#
Fuller 管理员 发表于 2021-3-19 18:43:05 | 只看该作者
17853145082 发表于 2021-3-19 18:40
是不能一样吗滚轮和滚屏的名字?下级规则的名字跟当前级一样是什么意思呀?小白不太懂 ...

红框这里填下一级规则名,填成跟当前规则名一样

举报 使用道具
18#
17853145082 新手上路 发表于 2021-3-19 18:59:23 | 只看该作者
Fuller 发表于 2021-3-19 18:43
红框这里填下一级规则名,填成跟当前规则名一样

终于可以了!!!万分感谢!
举报 使用道具
19#
17853145082 新手上路 发表于 2021-3-20 13:01:48 | 只看该作者
17853145082 发表于 2021-3-19 18:59
终于可以了!!!万分感谢!

重新设计了一个,又不行了。。。
任务名叫:会员购继续疯狂
可以帮我看看嘛
举报 使用道具
20#
Fuller 管理员 发表于 2021-3-20 16:36:08 | 只看该作者
17853145082 发表于 2021-3-20 13:01
重新设计了一个,又不行了。。。
任务名叫:会员购继续疯狂
可以帮我看看嘛

我用这个定位表达式是可以的://*[@class='scroll-container']

这个xpath表示整个有滚动条的那个区域
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-28 01:52