http://47.104.58.103:8889/notice/result?meth=list&type=001,这是要抓取的网址。我用的@onclick作为下级网址的抓取链接,结果最终抓取失败。请问怎么找到@href,然后成功的实现层级抓取

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2020-3-26 16:16

沙发
ym 版主 发表于 2020-3-19 17:35:24 | 只看该作者
这个网页里每一个标题是没有网址的,@onclick是点击事件
举报 使用道具
板凳
ym 版主 发表于 2020-3-19 17:37:28 | 只看该作者
不过这个@onclick里有详情页面的id值,可以把@onclick采集下来,导出数据表后构造详情页的网址,再把详情网址手工添加到采集详情页面的规则里。构造网址的操作参看《如何构造网址》
举报 使用道具
地板
ym 版主 发表于 2020-3-19 17:42:02 | 只看该作者
本帖最后由 ym 于 2020-3-19 17:47 编辑

举个例子,第一条标题的@onclick值是toContent('3eb387f9d9214773aa513676db1b42be')

要把单引号之间的id值提取出来  3eb387f9d9214773aa513676db1b42be
前面拼接上域名部分  http://47.104.58.103:8889/notice/result?meth=content&content=
就可以得到如下的详情页面完整网址:
http://47.104.58.103:8889/notice ... 773aa513676db1b42be
举报 使用道具
5#
ttxs0918 新手上路 发表于 2020-3-22 21:21:40 | 只看该作者
ym 发表于 2020-3-19 17:42
举个例子,第一条标题的@onclick值是toContent('3eb387f9d9214773aa513676db1b42be')

要把单引号之间的id ...

你好,能不能录个小视频,我参照做一下,第一个是不会提取网址,就是括号部分,第二个不会构造网址。看了下说明,感觉自己做还是有困难。
举报 使用道具
6#
ttxs0918 新手上路 发表于 2020-3-26 13:48:41 | 只看该作者
ttxs0918 发表于 2020-3-22 21:21
你好,能不能录个小视频,我参照做一下,第一个是不会提取网址,就是括号部分,第二个不会构造网址。看了 ...

请问怎么把单引号之间的id值提取出来  3eb387f9d9214773aa513676db1b42be
举报 使用道具
7#
ttxs0918 新手上路 发表于 2020-3-26 13:50:07 | 只看该作者
ym 发表于 2020-3-19 17:42
举个例子,第一条标题的@onclick值是toContent('3eb387f9d9214773aa513676db1b42be')

要把单引号之间的id ...

请问怎么把单引号之间的id值提取出来  3eb387f9d9214773aa513676db1b42be
举报 使用道具
8#
ym 版主 发表于 2020-3-26 14:22:52 | 只看该作者
1、采集完成后,到会员中心导入xml结果文件,导出excel表数据,参考教程《xml转为excel》
2、用excel的数据分列功能,把单引号作为标志进行分列,就能提取出id了;
举报 使用道具
9#
ttxs0918 新手上路 发表于 2020-3-26 16:12:39 | 只看该作者
ym 发表于 2020-3-26 14:22
1、采集完成后,到会员中心导入xml结果文件,导出excel表数据,参考教程《xml转为excel》;
2、用excel的数 ...

嗯呢,Excel我用的比较遛,这个没问题,那把这俩拼在一起,用集搜客的什么功能。
举报 使用道具
10#
ttxs0918 新手上路 发表于 2020-3-26 16:16:40 | 只看该作者
ttxs0918 发表于 2020-3-26 16:12
嗯呢,Excel我用的比较遛,这个没问题,那把这俩拼在一起,用集搜客的什么功能。
...

,找到了,谢谢。我批量添加就行了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-22 10:36