瀑布流抓取中断

DAYUE888

本帖最后由 DAYUE888 于 2017-8-15 08:19 编辑

瀑布流抓取几百条数据就中断。求帮忙看看。还有一个问题就是网页滚动的非常慢，我设置过滚动速度也没用！主题名：wish类目爬取

Fuller · 发表于 2017-8-15 09:58:17

时间都花在存文件上了，因为你要下载商品图，而且数量很大，另外，瀑布流越来越长，要存的文件越来越多，很快就内存也会消耗光了。

用这种方式把所有瀑布流内容存下来是办不到的，大的一定程度就运行不动了。

DAYUE888 · 发表于 2017-8-15 17:08:34

Fuller 发表于 2017-8-15 09:58
时间都花在存文件上了，因为你要下载商品图，而且数量很大，另外，瀑布流越来越长，要存的文件越来越多， ...

有没有解决方法？能爬取这样的数据

wangyong · 发表于 2017-8-15 17:16:03

抓取数据的前提是让数据在浏览器中显示出来，wish这个瀑布流太长了，没有浏览器能把所有的数据都展示出来
要抓取完整的数据只有通过分类控制个网页瀑布流的长度

共 3 个关于本帖的回复最后回复于 2017-8-15 17:16

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页