请问：滚屏速度快，但网页全部显示了，会漏抓吗？

ovna123

如题

Fuller · 发表于 2017-5-31 19:41:22

如果是一定要抓到的，那么就勾上关键内容。这样肯定不会抓漏。但是，如果网页上有时候有，有时候没有这个内容，就不能勾关键内容了。

如果全部显示了，一般不会抓漏

ovna123 · 发表于 2017-5-31 19:46:26

Fuller 发表于 2017-5-31 19:41
如果是一定要抓到的，那么就勾上关键内容。这样肯定不会抓漏。但是，如果网页上有时候有，有时候没有这个内 ...

谢谢！
另：运行爬虫群会导致网页弹出验证。似乎用不了。

gz51837844 · 发表于 2017-5-31 20:09:56

ovna123 发表于 2017-5-31 19:46
谢谢！
另：运行爬虫群会导致网页弹出验证。似乎用不了。

可以清一下cookie, 可能的话换一下ip, 放慢抓取速度, 同一台电脑不要开多个爬虫群窗口爬同一个网站
如果爬取量比较大, 最好分散到多台爬虫电脑
另外爬虫群有几个参数可以控制抓取速度:

共 3 个关于本帖的回复最后回复于 2017-5-31 20:09

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页