快捷导航
规则名称:微博抓取_博主首页博文互动数据_第二步
测试链接:https://weibo.com/u/3622512610?is_all=1
https://www.weibo.com/u/2405584352?is_all=1

问题描述:

塔塔鲁斯 2020-02-13 12:07:00

但是实际过程中发现,抓取会失败;因为如果用绝对定位;不同微博博主的首页绝对定位上面的内容不一样;如果用calss,评论、转发、点赞的calss定位是一样的导致抓不到数据


举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2020-2-13 16:04

Fuller 管理员 发表于 2020-2-13 16:04:18 | 显示全部楼层
这里有多个经验贴,关于定位标志相同怎么办:https://www.gooseeker.com/doc/thread-707-1-1.html
我通常使用这种方法:
找到这些节点的父节点或者比较近的祖先节点,如果有合适的定位标志,用他们共同的祖先节点做定位标志映射。这样得到的xpath是相对于他们祖先节点的,那么会用postion函数把这项具有相同定位标志的节点区分开
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 数据管家和集搜客网络爬虫超出配额是怎么回
  • 用GooSeeker数据管家能采集微博内容吗?
  • 怎样使用GooSeeker数据管家启动采集任务?
  • GooSeeker数据管家软件使用指导
  • 如何使用集搜客分词平台做社会网络图分析?

热门用户

GMT+8, 2020-8-5 00:45