我做好了一级采取和二级采取,然后一级爬完了,但是二级只能采集一个网页?一级题目是:未成年人犯罪胡万琦1,二级题目是:未成年人犯罪胡万琦1_下级。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-4-30 07:44

沙发
Fuller 管理员 发表于 2019-4-30 07:44:02 | 只看该作者
这是个动态性很强的网站,你没有给整理箱设置关键内容,所以,爬虫根本没法判断真实的内容是否显示出来了,所以,你抓到的一定都是空结果文件。设置关键内容就好了


还有一个严重问题,每个A节点的href是一个javascript代码,说明在点击的时候动态构造网址,看样子data-href似乎就是目标网址,所以抓取下一级应该用data-href做内容映射(这个网址是否可用,我没有试过,你可以试试)


举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-20 16:02