快捷导航
5 123

多级标题怎么爬取?

nanwangni 于 2021-4-26 11:01 发表 [复制链接]
请教各位大神多级标题怎么爬取?
举报 使用道具
| 回复

共 5 个关于本帖的回复 最后回复于 2021-4-26 15:13

内容分析应用 金牌会员 发表于 2021-4-26 11:21:54 | 显示全部楼层
多级标题是指什么? 是同一个页面有多级标题, 还是多个不同层级的页面, 比如京东的商品搜索页和商品详情页
可以举个例, 截图或者给出网站的网址
举报 使用道具
nanwangni 新手上路 发表于 2021-4-26 11:37:08 | 显示全部楼层
https://zwfw.pingliang.gov.cn/gszw/ssqd/bmsx/bmsxlist.do?webid=12
https://zwfw.pingliang.gov.cn/art/2020/3/11/art_412338_37298.html
您好,想要每个事项的信息
举报 使用道具
内容分析应用 金牌会员 发表于 2021-4-26 12:13:00 | 显示全部楼层
你这个属于层级采集,就是从一个列表获取多个网址, 然后去采集详情页, 可以看这2个教程:
网络爬虫采集列表数据
爬网址做层级采集——以京东商品爬虫为例

同时你这个列表页不能直接获取详情页的网址, 需要采集下来后, 在excel里拼接得到网址
观察下面的详情网址:
https://zwfw.pingliang.gov.cn/art/2020/3/11/art_412338_37298.html
网址中可变的几个部分:2020, 3, 11,  412338, 37298
都可以从列表中采集到, 然后拼接得出完整的网址
QQ截图20210426120919.png



举报 使用道具
内容分析应用 金牌会员 发表于 2021-4-26 12:14:24 | 显示全部楼层
也可以委托给集搜客官方定制服务来帮你做
举报 使用道具
nanwangni 新手上路 发表于 2021-4-26 15:13:31 | 显示全部楼层
好的谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • “只用规则中的输入词”选项的使用方法
  • 去资源库下载规则,轻松抓数据
  • 采集下载指定网页区域内的所有图片
  • 如何使用快捷采集-以京东评论采集为例
  • 如何使用快捷采集-以知乎数据采集为例

热门用户

GMT+8, 2021-5-8 00:22