快捷导航
本帖最后由 tengxinyu 于 2017-8-10 16:53 编辑

层级抓取的问题
第一层级网址:http://data.miit.gov.cn/resultSearch?categoryTreeId=1128
它共有100多页,3000多条信息
1.JPG
然后每点击一条,就会进入详细信息,也就是我要提取的第二层级

2.png 3.jpg
第一个第二层级网址为:http://data.miit.gov.cn/viewCar?carId=51986
然后我是这样操作的,列表如下:
1.页面开始
4.jpg
2.命名:第298批产品公示,显示该名称可以使用,整理箱命名第一级,并选择了企业名称,品牌名称,产品名称,产品型号四种,其中企业名称为关键内容
5.jpg
3.开始设置样例复制,点整理箱:第一级,勾选启用,样例复制第一个,样例复制第二个
6.jpg 7.jpg 8.jpg
4.设置翻页,选择爬虫线索-新建-记号线索-连贯抓取
9.jpg
5.选择翻页处,出现DIV-线索映射-定位-线索1
10.jpg
6.选择下一页的那个小标标,在SPAN下的text进行线索映射-记号映射
11.jpg
7.完成结果如下
12.jpg
8.开始设置层级抓取,回到创建规则面板,找到第一栏名称对应节点TD-A下的@herf,进行内容映射-新建抓取内容-命名网址
12.jpg 14.jpg
9.对网址进行处理,勾选下级线索,选择爬虫路线,选择线索2,命名主题名:企业申报车型公示详情2
15.jpg 16.jpg
10.检测,存规则
17.jpg
11.规则菜单-新建-清空工作台内容-确定,选择第二级层级样本网址:http://data.miit.gov.cn/viewCar?carId=51986,输入,刷新进入,设置主题名:企业申报车型公示详情2
18.jpg
12.整理箱命名第二级,选择产品商标,产品型号,公司名称,注册地址作为抓取内容,宣泄公司名称作为关键内容
19.jpg
13.测试
20.jpg
14.存规则,爬数据
然后就出现只采集了,第一级的第一条,和第一条下的第二级内容,第一级第二条以及翻页的部分都没有啦????怎么办怎么办???
21.jpg


怎么办?谢谢解答!祝身体健康,平安喜乐!

举报 使用道具
| 回复

共 20 个关于本帖的回复 最后回复于 2017-8-11 16:05

wangyong 版主 发表于 2017-8-10 17:16:50 | 显示全部楼层
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位 W_[ZM%K3(4VZ40_tE]G}A.png
2,修改完成后,打数机中单搜运行第一级规则第298批产品公示
观察是否正常翻页

3,第一级规则正常运行后,在打数机中输入第二级规则名:企业申报车型公示详情2
右击规则名统计线索
统计23.png
打起2.png
统计到的待抓取线索数据就是第一级规则抓到的第二级规则链接
然后单搜运行第二规则

要抓取多少个第二级网页就在单搜后的线索框内输入多少数字
举报 使用道具
tengxinyu 新手上路 发表于 2017-8-11 08:34:35 | 显示全部楼层
wangyong 发表于 2017-8-10 17:16
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成 ...

谢谢,我尝试一下,麻烦您了
举报 使用道具
tengxinyu 新手上路 发表于 2017-8-11 08:35:09 | 显示全部楼层
wangyong 发表于 2017-8-10 17:16
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成 ...

谢谢,我尝试一下,麻烦您了
举报 使用道具
tengxinyu 新手上路 发表于 2017-8-11 09:08:56 | 显示全部楼层
tengxinyu 发表于 2017-8-11 08:34
谢谢,我尝试一下,麻烦您了

您好,我尝试了一下,您修改的企业申报车型公示详情2可以弄了,但是我自己操作的企业申报车型公示详情3还是不对,我已经选择绝对定位了呀,我想请问是否可以进行一下远程连接,可以帮我演示一下吗?
举报 使用道具
wangyong 版主 发表于 2017-8-11 09:21:12 | 显示全部楼层
企业申报车型公示详情3有什么问题
举报 使用道具
tengxinyu 新手上路 发表于 2017-8-11 09:25:13 | 显示全部楼层
wangyong 发表于 2017-8-10 17:16
1,第二级企业申报车型公示详情2做的不正确需要做修改定位选项
点击整理箱定位后选择绝对定位
2,修改完成 ...

您好,我尝试了一下,您修改的企业申报车型公示详情2可以弄了,但是我自己操作的企业申报车型公示详情3还是不对,我已经选择绝对定位了呀,我想请问是否可以进行一下远程连接,可以帮我演示一下吗?
举报 使用道具
tengxinyu 新手上路 发表于 2017-8-11 09:26:25 | 显示全部楼层
wangyong 发表于 2017-8-11 09:21
企业申报车型公示详情3有什么问题

就是按照您说的我重新操作了一遍,我做的还是不正确,我可以加您一个qq,远程协助下吗,就演示一下,我看看哪里不正确,可以吗?
举报 使用道具
tengxinyu 新手上路 发表于 2017-8-11 09:34:46 | 显示全部楼层
wangyong 发表于 2017-8-11 09:21
企业申报车型公示详情3有什么问题

您看这个又有什么问题吗?我统计线索时线索数就不对,单搜的时候也不对
举报 使用道具
wangyong 版主 发表于 2017-8-11 09:38:50 | 显示全部楼层
截图把问题说明一下哪里不对
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 百度推广后台数据DIY
  • 采集表单中的input动态内容
  • 采用刷新动作实现手机页面采集
  • 通过划定滚轮范围实现精确点击手机页面
  • 放大或者缩小页面便于采集手机网页内容

热门用户

集搜客GooSeeker网络爬虫 ( 粤ICP备11065265号-2 )

GMT+8, 2017-12-18 18:53