crunchbase的样例复制

zhongwuhuizhi

抓取网页信息，进行样例复制映射时发现，一共50个结果只呈现了17个DIV点，并且还不是按照顺序的，超出这17个范围的会重新组合成为一组，并且原来的的17个DIV会被替代，那怎么样才能将网页的每一条都爬下来？

wangyong · 发表于 2017-8-15 11:26:42

规则名是什么？

zhongwuhuizhi · 发表于 2017-8-15 11:35:42

zhongwuhuizhi · 发表于 2017-8-15 11:37:02

wangyong 发表于 2017-8-15 11:26
规则名是什么？

wangyong · 发表于 2017-8-15 12:01:34

不做样例复制，改成做定位标志映射，选择图片中的@class

zhongwuhuizhi · 发表于 2017-8-15 12:35:01

wangyong 发表于 2017-8-15 12:01
不做样例复制，改成做定位标志映射，选择图片中的@class

这样测试出来还是不能爬到全部的信息，而只有页面首次刷出能看到的几个信息啊好像，是我步骤有问题吗，还是什么情况？

wangyong · 发表于 2017-8-15 14:05:46

采集的时候打开滚屏了？

zhongwuhuizhi · 发表于 2017-8-15 14:17:50

wangyong 发表于 2017-8-15 14:05
采集的时候打开滚屏了？

呃，没有，是需要打开滚屏吗？

wangyong · 发表于 2017-8-15 14:24:03

这个网页的数据是动态加载，滚动后才会显示

zhongwuhuizhi · 发表于 2017-8-15 14:38:16

wangyong 发表于 2017-8-15 14:24
这个网页的数据是动态加载，滚动后才会显示

我试了下，设置滚屏后爬到的东西是一样的

共 11 个关于本帖的回复最后回复于 2017-8-15 15:29

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页