跪求大神帮助！爬虫页面不全。

lygtwq

您好，我是徐州工程的学生，在做论文，关于同程旅游网站的服务质量分析，需要抓取评价的信息。抓取了很多次，都是不行，大约有800多个页面，总会在100左右的时候，就会不显示抓取内容，xml存下来的页面显示价格是在计算，其他的点评数量就直接不显示，请问一下，这是什么原因呢？

shengchengx · 发表于 2017-5-2 16:51:25

应该是网速问题
可以打开滚屏速度慢一点这样就可以在这个页面加载时间长一点

lygtwq · 发表于 2017-5-2 16:53:47

shengchengx 发表于 2017-5-2 16:51
应该是网速问题
可以打开滚屏速度慢一点这样就可以在这个页面加载时间长一点 ...

我试试

lygtwq · 发表于 2017-5-2 17:03:54

shengchengx 发表于 2017-5-2 16:51
应该是网速问题
可以打开滚屏速度慢一点这样就可以在这个页面加载时间长一点 ...

还是不行，这是我的配置。我是业余的，看的不太懂，都是百度来的。

HJLing · 发表于 2017-5-2 17:07:04

把滚屏次数改成5 滚屏速度改成1看看

lygtwq · 发表于 2017-5-2 17:16:03

HJLing 发表于 2017-5-2 17:07
把滚屏次数改成5 滚屏速度改成1看看

还是不可以，只显示出一个价格，其他的都没有显示。

HJLing · 发表于 2017-5-2 17:18:16

lygtwq 发表于 2017-5-2 17:16
还是不可以，只显示出一个价格，其他的都没有显示。

用爬虫群就要在调度里设置
用单搜集搜就要在配置-滚屏参数里设置

不能在配置设置然后用爬虫群
不然不起作用

HJLing · 发表于 2017-5-2 17:20:23

好评那些在页面最下方
可以尝试把滚屏次数调大一点比如10
具体哪个合适都是尝试出来的

lygtwq · 发表于 2017-5-2 17:21:59

HJLing 发表于 2017-5-2 17:20
好评那些在页面最下方
可以尝试把滚屏次数调大一点比如10
具体哪个合适都是尝试出来的 ...

我是用单搜的，只需要设置滚屏次数和速度就可以了是吧？我一个一个试试，谢谢

HJLing · 发表于 2017-5-2 17:23:51

lygtwq 发表于 2017-5-2 17:21
我是用单搜的，只需要设置滚屏次数和速度就可以了是吧？我一个一个试试，谢谢
...

共 12 个关于本帖的回复最后回复于 2017-5-3 14:18

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页