12 19862

设置滚屏采集瀑布失败

吴力 于 2018-5-14 18:06 发表 [复制链接]
采集一个瀑布式的页面,一行有两个链接,一共1700行
以下是操作步骤:
1,新建规则
2,查重
3,建箱
4,标签标题
5,设置样例复制第一个和第二个
6,定位‘绝对定位’
7,测试
8,测试没问题
9,连续动作
10,新建
11,起名‘谁在用’没问题
12,滚屏,每次滚屏数10,总滚屏数-1
13,DS打数机滚屏参数,滚屏次数-1(4294967295),速度2
14,开始爬数据
15,结果到150行就停止采集,并且只生成一个XML文件,无后续再生成的文件。

举报 使用道具
| 回复

共 12 个关于本帖的回复 最后回复于 2018-5-15 09:05

小蜜蜂测试12 新手上路 发表于 2018-5-14 18:10:24 | 显示全部楼层
第12步里的是用的连续动作中的滚屏的话,打数机里的滚屏都要改成0才会生效
举报 使用道具
吴力 新手上路 发表于 2018-5-14 19:16:47 | 显示全部楼层
小蜜蜂测试12 发表于 2018-5-14 18:10
第12步里的是用的连续动作中的滚屏的话,打数机里的滚屏都要改成0才会生效 ...

设0直接不滚了
举报 使用道具
Fuller 管理员 发表于 2018-5-14 19:27:05 | 显示全部楼层

连续动作里面有滚屏,就要关闭DS打数机的自动滚屏。两个会有冲突
举报 使用道具
Fuller 管理员 发表于 2018-5-14 19:28:02 | 显示全部楼层
采集公开网站吗?如果是公开网站,把主题名贴出来,可以帮你看看规则是否有问题
举报 使用道具
吴力 新手上路 发表于 2018-5-14 19:30:52 | 显示全部楼层
Fuller 发表于 2018-5-14 19:27
连续动作里面有滚屏,就要关闭DS打数机的自动滚屏。两个会有冲突

关闭DS打数机的自动滚屏是怎么关闭呢?
举报 使用道具
吴力 新手上路 发表于 2018-5-14 19:31:36 | 显示全部楼层
Fuller 发表于 2018-5-14 19:28
采集公开网站吗?如果是公开网站,把主题名贴出来,可以帮你看看规则是否有问题 ...

mobile.pinduoduo.com
9块9特卖-精选
举报 使用道具
吴力 新手上路 发表于 2018-5-14 19:32:23 | 显示全部楼层
Fuller 发表于 2018-5-14 19:28
采集公开网站吗?如果是公开网站,把主题名贴出来,可以帮你看看规则是否有问题 ...

不用注册,只需要同时打开另一个浏览器接手机收验证码登陆
举报 使用道具
Fuller 管理员 发表于 2018-5-14 19:50:45 | 显示全部楼层
吴力 发表于 2018-5-14 19:30
关闭DS打数机的自动滚屏是怎么关闭呢?

DS打数机菜单 配置-》滚屏参数,把滚屏次数设置成0,就关闭了DS打数机的自动滚屏
举报 使用道具
Fuller 管理员 发表于 2018-5-14 19:57:42 | 显示全部楼层
吴力 发表于 2018-5-14 19:31
mobile.pinduoduo.com
9块9特卖-精选

你给出的主题名似乎不会,我查不到这个主题。

这个网站是个手机网站,刚才我用手机登录了,用缺省的UserAgent类型登录不了,无法给手机发验证码,后来我改成安卓手机上的Firefox浏览器,能登录了,现在问题是查不到你的规则。

安卓手机.png

手机页面采集会遇到一些问题。连续动作的滚屏不一定有效,有时候不得不用滚轮动作。但是,滚轮是旗舰版的功能。如果滚轮也不行,就得用爬虫助手,我们有一个专门的配套软件可以模拟人做各种动作。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 20:27