打数机页面跟设定规则时不一致

主题名：问题列表425

之前抓取过一次数据成功，但是因为漏抓了一个数据，所以修改了下级线索后想要全部重新抓取。但是抓取时打数机页面与设定规则时不一致，设定规则时没有“Click me to see next set of questions!”这个选项，下拉自动会出现下面的问题（现在的网页仍然如此），这样子就没办法抓取下面的问题了，请问要怎么解决呢，是要全部规则重新设定吗？

我刚才测试了，没有遇到你说的那个点击才能加载的情况，不过我把你的规则稍微调整了一下：

连续动作的滚屏次数改成 3 了，你是 10，真人操作不会一下滚10屏的，所以，很容易触发反爬。

另外，要注意两点：
1，DS大数据不要打开滚屏功能，因为你用了连续滚屏
2，你的规则长久运行的话，会导致整个爬虫程序崩溃，因为你要无限滚屏，这种瀑布流网页会无限增大，有些网站做的好的不会无限增大，但是，大部分都会无限增大，直到内存都容不下了，就崩溃了

Fuller 发表于 2017-4-29 09:44
我刚才测试了，没有遇到你说的那个点击才能加载的情况，不过我把你的规则稍微调整了一下：

连续动作的滚屏 ...

你好  我把连续动作的滚屏次数设为3了，还是会出现这个情况，是不是如果换台电脑能够解决这个问题呢？

以及DS的滚屏关闭是将配置中滚屏参数中次数设为0嘛？  谢谢你。

xigua_L 发表于 2017-4-29 10:05
你好  我把连续动作的滚屏次数设为3了，还是会出现这个情况，是不是如果换台电脑能够解决这个问题呢？

...

滚屏DS打数机的滚屏，是在DS打数机菜单中设置，配置-》滚屏参数，把滚屏次数设置成0

我估计Yahoo已经对你的IP做了防范，采取如下操作
1，清理cookie，参看《怎样清理cookie》
2，有条件的话，换一下IP，比如，重拨光猫

然后重新运行爬虫。

如果还是解决不了，再做一个规则，主题名相同，但是规则编号不一样，专门做点击，点击那句话，但是，在MS谋数台上是否能重现这个提示？

Fuller 发表于 2017-4-29 10:17
滚屏DS打数机的滚屏，是在DS打数机菜单中设置，配置-》滚屏参数，把滚屏次数设置成0

我估计Yahoo已经对 ...

清除cookie更换IP还是解决不了，谋数台无法重现那句话。请问这要怎么解决？

xigua_L 发表于 2017-4-30 20:10
清除cookie更换IP还是解决不了，谋数台无法重现那句话。请问这要怎么解决？

...

DS打数机运行的时候还在出现这个现象？
你的DS打数机窗口是不是没有放大到最大？如果窗口下部是日志窗口，拖住日志窗口上边沿中部往下拉，把日志窗口收缩了，让浏览器窗口最大