快捷导航
一级任务:证券从业人员基本信息公示第11级;二级任务券从业人员基本信息公示第12级。为什么第一个公司的信息爬不了,后面的可以。使用爬虫群的时候


举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 6 天前

小蜜蜂测试162 中级会员 发表于 6 天前 | 显示全部楼层
这个网站不能用连续动作的点击,得用层级抓取 QQ截图20201118105903.png
这个onclick就是每个公司详情页网址的变量id:https://exam.sac.net.cn/pages/re ... .html?aoiId=1999082先做列表规则把onlick抓取下来,然后放到Excel里构成出网址来,添加到二级规则

举报 使用道具
Easec888 初级会员 发表于 6 天前 | 显示全部楼层
小蜜蜂测试162 发表于 2020-11-18 11:03
这个网站不能用连续动作的点击,得用层级抓取
这个onclick就是每个公司详情页网址的变量id:https://exam.s ...

如果这样做的话,有什么办法吗,因为我后面的全部能爬,就第一页不能爬
举报 使用道具
wangyong 版主 发表于 6 天前 | 显示全部楼层
Easec888 发表于 2020-11-18 13:36
如果这样做的话,有什么办法吗,因为我后面的全部能爬,就第一页不能爬
...

这个网站一共也就一页吧?

举报 使用道具
Easec888 初级会员 发表于 6 天前 | 显示全部楼层
wangyong 发表于 2020-11-18 16:15
这个网站一共也就一页吧?

不是,这个是从一级界面点进二级界面采集数据,然后返回一级页面,这样循环
举报 使用道具
wangyong 版主 发表于 6 天前 | 显示全部楼层
Easec888 发表于 2020-11-18 13:36
如果这样做的话,有什么办法吗,因为我后面的全部能爬,就第一页不能爬
...

你是指第一个公司失败是吧?

其他都成功了的话,就单独把失败的这个公司网址添加到二级规则里单独采集就行了

https://exam.sac.net.cn/pages/re ... .html?aoiId=1999082


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • 集搜客数据管家-网络爬虫软件,中文分词,情
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-11-24 11:57