快捷导航
我做好了一级采取和二级采取,然后一级爬完了,但是二级只能采集一个网页?一级题目是:未成年人犯罪胡万琦1,二级题目是:未成年人犯罪胡万琦1_下级。
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2019-4-30 07:44

Fuller 管理员 发表于 2019-4-30 07:44:02 | 显示全部楼层
这是个动态性很强的网站,你没有给整理箱设置关键内容,所以,爬虫根本没法判断真实的内容是否显示出来了,所以,你抓到的一定都是空结果文件。设置关键内容就好了
关键内容20190430073947.png

还有一个严重问题,每个A节点的href是一个javascript代码,说明在点击的时候动态构造网址,看样子data-href似乎就是目标网址,所以抓取下一级应该用data-href做内容映射(这个网址是否可用,我没有试过,你可以试试)

链接20190430074117.png
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 摘取泉港区政府工作报告中的数字遇到的问题
  • 调度设置参数说明
  • 集搜客网络爬虫软件实现自动网页截屏
  • 怎样使用搜狐新闻搜索列表快捷工具抓取关键
  • 用于清洗文本内容的Excel函数公式

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2019-7-18 00:48