快捷导航
超时设置都改成120s了,也不加载图片、js、插件,规则只抓文字。。这是什么情况?
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2015-12-24 20:31

ym 版主 发表于 2015-12-24 20:27:46 | 显示全部楼层
DS的高级菜单的终点标志那里是否勾了重复内容,勾了的话遇到信息相同的网页就会中断抓取,你不要勾,然后重启爬虫就行了
举报 使用道具
努力成为A 初级会员 发表于 2015-12-24 20:28:25 | 显示全部楼层
没有勾选,多次停止运行后,设置的超时120,不加载图片js等,也还是会中途中断
举报 使用道具
努力成为A 初级会员 发表于 2015-12-24 20:28:56 | 显示全部楼层
DS下部的日志窗口也没什么内容,就有点前面出来的优化参数提高速度的提示
举报 使用道具
ym 版主 发表于 2015-12-24 20:29:44 | 显示全部楼层
翻页多少?很长的话,中断的可能性会很大
举报 使用道具
努力成为A 初级会员 发表于 2015-12-24 20:30:48 | 显示全部楼层
我的比较多,共1000页左右,分别中断在30---80---300处
举报 使用道具
ym 版主 发表于 2015-12-24 20:31:54 | 显示全部楼层
翻页的经验总结都在这里:http://www.gooseeker.com/doc/thread-698-1-1.html,总是在某页断的话,先看最后一个文章
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用短视频开展对外传播的策略分析
  • 中国社交用户头像选择的文化解释
  • 使用Python提取视频文件的关键帧用于视频内
  • 国内近20年媒介融合研究热点及展望——基于
  • 融合情感词典和语义规则的微博评论细粒度情

热门用户

GMT+8, 2021-10-18 12:17