怎样点到其他的上面 爬取对应的数据 所有目录都是一个网址 没有单独的网址

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 17 个关于本帖的回复 最后回复于 2020-2-18 18:41

沙发
Fuller 管理员 发表于 2020-2-17 19:24:20 | 只看该作者
这个网页的网址是什么?
举报 使用道具
板凳
sunnyz 初级会员 发表于 2020-2-17 19:26:53 | 只看该作者
Fuller 发表于 2020-2-17 19:24
这个网页的网址是什么?

https://www.wmzy.com/api/rank/schList?rankingType=xingchou
举报 使用道具
地板
Fuller 管理员 发表于 2020-2-17 19:36:08 | 只看该作者
sunnyz 发表于 2020-2-17 19:26
https://www.wmzy.com/api/rank/schList?rankingType=xingchou

首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45


其次,要做两级规则

第一级:负责点击那几个选项,使用连续点击动作,参看教程:https://www.gooseeker.com/doc/article-288-1.html
第二级:负责抓取内容,并且点击查看更多,点击查看更多的方式是使用连续翻页的方法,参看教程:https://www.gooseeker.com/doc/article-334-1.html

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
5#
sunnyz 初级会员 发表于 2020-2-17 19:47:18 | 只看该作者
Fuller 发表于 2020-2-17 19:36
首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45

看晕了
举报 使用道具
6#
sunnyz 初级会员 发表于 2020-2-17 19:56:35 | 只看该作者

两级规则怎么做
举报 使用道具
7#
sunnyz 初级会员 发表于 2020-2-17 20:06:52 | 只看该作者
Fuller 发表于 2020-2-17 19:36
首先,这个要设置集搜客网络爬虫软件的UserAgent才能点击这个网页,要改成Firefox 45

二级规则怎么做?
举报 使用道具
8#
Fuller 管理员 发表于 2020-2-17 22:44:43 | 只看该作者
sunnyz 发表于 2020-2-17 20:06
二级规则怎么做?

教程页面上的左栏目录展开,里面有初级教程,应该按照顺序看一下前面几篇:https://www.gooseeker.com/tuto/tutorial.html

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
9#
sunnyz 初级会员 发表于 2020-2-18 16:29:58 | 只看该作者
Fuller 发表于 2020-2-17 22:44
教程页面上的左栏目录展开,里面有初级教程,应该按照顺序看一下前面几篇:https://www.gooseeker.com/tu ...

第一级规则点击虽然点击过来了 但是第二级规则还是抓的第一个目录上的内容
举报 使用道具
10#
Fuller 管理员 发表于 2020-2-18 16:47:49 | 只看该作者
sunnyz 发表于 2020-2-18 16:29
第一级规则点击虽然点击过来了 但是第二级规则还是抓的第一个目录上的内容
...

你的规则名字是什么?主要是第一级的
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-27 10:59