本人是刚刚接触爬虫的新手。
   目标:抓取一个网站上公布的所有产品报价
   操作流程:按照教学的步骤,在MS谋数台设定了规则和线索,点击“抓数据”后,DS打数机开始工作,存储的文件夹里陆续出现一个个XML文档,到此为止貌似一切顺利。
  问题来了:在抓取工作进行了二十分钟后,发现打数机突然停止工作,日志里出现了下面的字:
                   再看存储文件的文件夹里,已经有了不少XML文档,用EXCEL导入之后可以看到部分抓取的信息。
                  然并卵,这不是我想要的。我想要全部,它只给了我局部。
                  另外,大家看看我线索统计,成功抓取率居然是0,但我明明已经抓大到了一部分啊。
                 实在搞不懂,请大神们指点,咱们也交个朋友。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2015-11-6 10:43

沙发
wangyong 版主 发表于 2015-11-5 14:32:20 | 只看该作者
1.想要全部只抓了局部是规则没有设置好,谋数台整理箱中有测试按钮可以看到当前页面抓取到的内容是什么。
2.抓取到了一大部分也只是翻页后的数据,线索还是一条,唯一的一条出现timeout了也就是抓取失败了。
3.出现timeout问题参看:http://www.gooseeker.com/doc/thread-663-1-1.html
举报 使用道具
板凳
yuelaoban123 新手上路 发表于 2015-11-6 10:43:09 | 只看该作者
谢谢你
举报 使用道具
地板
yuelaoban123 新手上路 发表于 2015-11-6 10:43:20 | 只看该作者
wangyong 发表于 2015-11-5 14:32
1.想要全部只抓了局部是规则没有设置好,谋数台整理箱中有测试按钮可以看到当前页面抓取到的内容是什么。
2 ...

谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-19 06:11