微博采集每次采3页就停止

中秋2016

我做了个采集微博搜索消息的规则，测试没有问题，可是每次用DS打数机爬取的时候，都是到第3页就停止。
我应该怎样设置呢？

shenzhenwan10 · 发表于 2016-9-9 09:46:46

你看看第3页的翻页结构和前2页是不是不一样

中秋2016 · 发表于 2016-9-9 09:47:12

我看了一下，微博第四页的下一页和第三页没什么区别啊
但是每次都只抓取三页就停止了

shenzhenwan10 · 发表于 2016-9-9 09:48:05

你先看看人手去翻页，翻到第5，第6页有没有问题
某些情况微博会不显示内容

中秋2016 · 发表于 2016-9-9 09:49:34

我看了，没有问题，人手翻页可以看到内容。
另外，我是用的爬虫群抓取，是先激活所有线索，然后启动爬虫群

shenzhenwan10 · 发表于 2016-9-9 09:51:19

如果你设置了爬虫群，检查一下有没有限制翻页数
另外微博抓取需要开启滚屏，你把滚屏次数设置大一些，比如15

中秋2016 · 发表于 2016-9-9 09:51:39

解决了，谢谢你

共 6 个关于本帖的回复最后回复于 2016-9-9 09:51

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页