快捷导航
本帖最后由 TYEd_傑 于 2019-2-18 13:40 编辑

大神们,在抓取淘宝数据的时候,抓取过程中显示需要认证,然后就一直重复在抓重复的数据,跳转不了下一页,请问怎么解决呢?操作步骤是这样的:   

第一步:搜索关键词;
第二步:进行翻页操作;
第三步:抓取到一半的时候,平台跳出需要验证的信息,然后gooseeker就一直抓取重复的数据。
1550468105(1).jpg
举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2019-9-9 15:40

Fuller 管理员 发表于 2019-2-18 14:16:42 | 显示全部楼层
淘宝和天猫的关键词搜索对网络爬虫封锁很厉害,翻页没有多久就会出现滑块验证,要手工滑,滑几次就不让采集了。目前这个没有办法突破,可以换IP地址,清理缓存和cookie,换另外的淘宝账号,用这些手段能减缓一些。

为了解决重复抓取问题,用DS打数机菜单 高级-》终点标志-》重复内容,选上以后就会自动中断
举报 使用道具
maomao 金牌会员 发表于 2019-9-9 15:40:10 | 显示全部楼层
集搜客有淘宝快捷采集工具,下载爬虫软件后,输入淘宝网址,即可采集。注意,采集淘宝之前,要先在集搜客浏览器登录淘宝。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 采集知乎上关于华为鸿蒙的问题和回答
  • 分词和分类检索平台使用手册
  • 用爬虫采集机场出租车进场出场数据的公告
  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明

热门用户

GMT+8, 2019-9-17 22:43