我做好了一级采取和二级采取,然后一级爬完了,但是二级只能采集一个网页?一级题目是:未成年人犯罪胡万琦1,二级题目是:未成年人犯罪胡万琦1_下级。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-4-30 07:44

沙发
Fuller 管理员 发表于 2019-4-30 07:44:02 | 只看该作者
这是个动态性很强的网站,你没有给整理箱设置关键内容,所以,爬虫根本没法判断真实的内容是否显示出来了,所以,你抓到的一定都是空结果文件。设置关键内容就好了


还有一个严重问题,每个A节点的href是一个javascript代码,说明在点击的时候动态构造网址,看样子data-href似乎就是目标网址,所以抓取下一级应该用data-href做内容映射(这个网址是否可用,我没有试过,你可以试试)


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的
  • 下载支持win7的集搜客网络爬虫软件
  • 遇到“无法识别的应用”告警怎么办?

热门用户

GMT+8, 2024-9-8 07:54