您好,我爬创业邦投融资网页,一共800多页,我爬到100多页就突然闪退,为什么,能帮助我吗,谢谢

http://www.cyzone.cn/event/list-764-0-1/ 这是他们链接

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2016-11-10 21:42

沙发
xandy 论坛元老 发表于 2016-11-10 14:33:15 | 只看该作者
有一种方案采集规则中不要做翻页,直接给样本网址要抓取的内容定义规则就行了
因为这个每一页都有独立的网址,且非常有规律
比如:这是第一页的网址

这是最后一页的网址

所以只要将所有页码的网址以线索的形式添加进该规则,就可以把所有页的信息都采集下来。如何添加参看:《如何管理规则的线索

网址可以在excel里面批量构造




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
Fuller 管理员 发表于 2016-11-10 21:42:50 | 只看该作者
闪退是什么意思?就是DS打数机窗口都不见了?程序奔溃了吗?如果是这种情况,请把你的主题名贴出来,我们诊断一下
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-25 07:54