遇到一个很诡异的问题，请版主帮忙看看

yaohangsay · 发表于 2016-1-15 21:38:00

Fuller 发表于 2016-1-15 21:14
DS打数机菜单里面，配置-〉定时器触发，是不是被勾上了？勾上容易抓取过早，先不要勾

还有，超时参数是 ...

我好像忘记点回复了，不知道您能不能收到通知

wangyong · 发表于 2016-1-15 21:38:47

分析一下14页和15页的网页结构是否不同，打数机没有特殊报错消息的话就代表采集的流程都是正确的，翻页用的标志和线索范围可能在15页没有找到相应的采集就自动停止了。

yaohangsay · 发表于 2016-1-15 21:46:03

wangyong 发表于 2016-1-15 21:38
分析一下14页和15页的网页结构是否不同，打数机没有特殊报错消息的话就代表采集的流程都是正确的，翻页用的 ...

按这个逻辑说不通啊，因为不是每次都停在14页，之前有3、4、6这几页都停过

据我肉眼观察的网页是一样的，其他的技术分析手段我了没有了解过，完全没有眉目，望赐教

wangyong · 发表于 2016-1-15 21:51:29

打数机是否允许加载JavaScript了？

yaohangsay · 发表于 2016-1-15 21:53:32

wangyong 发表于 2016-1-15 21:51
打数机是否允许加载JavaScript了？

是在配置——配置浏览器下的加载JS对吧？
这个勾选了

wangyong · 发表于 2016-1-15 21:57:40

勾选JS，关掉定时器触发，将超时时长调大一点，滚屏参数也设大一点，保证滚到底，数据能够完全加载，这样再跑一次看看会怎样。

yaohangsay · 发表于 2016-1-15 22:14:09

wangyong 发表于 2016-1-15 21:57
勾选JS，关掉定时器触发，将超时时长调大一点，滚屏参数也设大一点，保证滚到底，数据能够完全加载，这样再 ...

我将超时时长调到了200秒，滚屏次数调为10，滚屏速度调为3

最后。。。跑了9页停下来了

wangyong · 发表于 2016-1-15 22:17:34

谋数台里有勾关键内容？

yaohangsay · 发表于 2016-1-15 22:18:39

wangyong 发表于 2016-1-15 22:17
谋数台里有勾关键内容？

对，有一项内容勾选了

yaohangsay · 发表于 2016-1-15 22:20:41

wangyong 发表于 2016-1-15 22:17
谋数台里有勾关键内容？

我试了一下，如果那项信息不勾选关键内容的话，就会抓漏掉一部分信息

另外取消掉关键内容之后，第二页就停了

推荐板块

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页