快捷导航
我做好了一级采取和二级采取,然后一级爬完了,但是二级只能采集一个网页?一级题目是:未成年人犯罪胡万琦1,二级题目是:未成年人犯罪胡万琦1_下级。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-4-30 07:44

Fuller 管理员 发表于 2019-4-30 07:44:02 | 显示全部楼层
这是个动态性很强的网站,你没有给整理箱设置关键内容,所以,爬虫根本没法判断真实的内容是否显示出来了,所以,你抓到的一定都是空结果文件。设置关键内容就好了
关键内容20190430073947.png

还有一个严重问题,每个A节点的href是一个javascript代码,说明在点击的时候动态构造网址,看样子data-href似乎就是目标网址,所以抓取下一级应该用data-href做内容映射(这个网址是否可用,我没有试过,你可以试试)

链接20190430074117.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 在限定论域的时候,为什么“任何一个”表示
  • 数理逻辑是讲什么的?
  • 内容分析法中的抽样
  • 豆瓣电影的情感分析
  • 一本在线图书——社交网络分析介绍

热门用户

GMT+8, 2020-2-21 04:39