打数机翻页，有的时候会在不同页码，自己结束运行

努力成为A

超时设置都改成120s了，也不加载图片、js、插件，规则只抓文字。。这是什么情况？

ym · 发表于 2015-12-24 20:27:46

DS的高级菜单的终点标志那里是否勾了重复内容，勾了的话遇到信息相同的网页就会中断抓取，你不要勾，然后重启爬虫就行了

努力成为A · 发表于 2015-12-24 20:28:25

没有勾选，多次停止运行后，设置的超时120，不加载图片js等，也还是会中途中断

努力成为A · 发表于 2015-12-24 20:28:56

DS下部的日志窗口也没什么内容，就有点前面出来的优化参数提高速度的提示

ym · 发表于 2015-12-24 20:29:44

翻页多少？很长的话，中断的可能性会很大

努力成为A · 发表于 2015-12-24 20:30:48

我的比较多，共1000页左右，分别中断在30---80---300处

ym · 发表于 2015-12-24 20:31:54

翻页的经验总结都在这里：http://www.gooseeker.com/doc/thread-698-1-1.html，总是在某页断的话，先看最后一个文章

共 6 个关于本帖的回复最后回复于 2015-12-24 20:31

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页