本帖最后由 xandy 于 2016-8-11 11:46 编辑

如果网页加载数据用到是,向下滑动加载更多数据,而不是通过点击下一页翻页的形式,该如何抓取数据啊?
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2017-9-30 10:45

沙发
Fuller 管理员 发表于 2016-8-7 10:31:00 | 只看该作者
自动滚屏的设置方法是:http://www.gooseeker.com/doc/article-57-17.html
要与连续动作的连续滚屏区分开,连续滚屏是用于滚不到尽头的,而且会产生大量重复结果,因为滚一下抓一下,具体看:http://www.gooseeker.com/doc/article-160-1.html
举报 使用道具
板凳
whusim 中级会员 发表于 2017-9-30 09:52:23 | 只看该作者
C:\Users\Administrator\Desktop

设置了自动滚屏
举报 使用道具
地板
whusim 中级会员 发表于 2017-9-30 09:59:55 | 只看该作者

就总是科室、职称和擅长这三个老抓不到

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
Fuller 管理员 发表于 2017-9-30 10:05:01 | 只看该作者
whusim 发表于 2017-9-30 09:59
就总是科室、职称和擅长这三个老抓不到

规则名是什么?这个网站是公开的吗?如果是公开的,可以帮你诊断一下
举报 使用道具
6#
whusim 中级会员 发表于 2017-9-30 10:18:02 | 只看该作者
【王绿娅】北京安贞医院心脏内科中心_门诊时间_擅长_执业经历_患者就医经验-好大夫在线-智慧互联网医院  http://www.haodf.com/doctor/DE4rO-XCoLUEJ2qrbc1P6dS2aO.htm
举报 使用道具
7#
bowieD 金牌会员 发表于 2017-9-30 10:26:34 | 只看该作者
whusim 发表于 2017-9-30 10:18
【王绿娅】北京安贞医院心脏内科中心_门诊时间_擅长_执业经历_患者就医经验-好大夫在线-智慧互联网医院  ht ...

你的主题规则名是什么?
举报 使用道具
8#
whusim 中级会员 发表于 2017-9-30 10:30:34 | 只看该作者

这个对应的应该是A3……主页二级  

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
9#
bowieD 金牌会员 发表于 2017-9-30 10:45:49 | 只看该作者
你说的那三项数据点击测试都有啊,如果测试有数据而运行打数机爬不到
1,首先把定位标志改成绝对定位
2,给映射的内容做上定位标志映射,精确抓取内容的位置
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-22 23:55