浙江政府采购网-详情页-招标信息-S2Y 这个任务数据也没有入库 结果里没有xml文件


举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2021-11-8 10:29

沙发
内容分析应用 金牌会员 发表于 2021-10-27 09:19:12 | 只看该作者
这个任务采集成功了吗? 在爬虫电脑的结果目录里可以看到xml结果文件吗?

举报 使用道具
板凳
木木西里数据 金牌会员 发表于 2021-10-27 11:06:32 | 只看该作者
内容分析应用 发表于 2021-10-27 09:19
这个任务采集成功了吗? 在爬虫电脑的结果目录里可以看到xml结果文件吗?

...

采集成功了,没有xml
举报 使用道具
地板
内容分析应用 金牌会员 发表于 2021-10-27 11:38:50 | 只看该作者

如果没有xml结果文件生成, 那规则是有问题的
你可以加载规则做测试
举报 使用道具
5#
木木西里数据 金牌会员 发表于 2021-10-27 13:49:03 | 只看该作者
内容分析应用 发表于 2021-10-27 11:38
如果没有xml结果文件生成, 那规则是有问题的
你可以加载规则做测试

iframe中的内容没办法抓嘛这个网址中iframe里的内容加载不出来,还有另一个抓iframe的任务 iframe里的内容也加载不出来

举报 使用道具
6#
gz51837844 管理员 发表于 2021-10-27 14:21:44 | 只看该作者
木木西里数据 发表于 2021-10-27 13:49
iframe中的内容没办法抓嘛这个网址中iframe里的内容加载不出来,还有另一个抓iframe的任务 iframe里的内 ...

iframe是可以抓取的,你们碰到的抓取不成功的是这个网址吧:https://zfcg.czt.zj.gov.cn/inner ... ml?noticeId=7699554
举报 使用道具
7#
木木西里数据 金牌会员 发表于 2021-10-27 14:41:11 | 只看该作者
gz51837844 发表于 2021-10-27 14:21
iframe是可以抓取的,你们碰到的抓取不成功的是这个网址吧:https://zfcg.czt.zj.gov.cn/innerUsed_notic ...

http://zfcg.gxzf.gov.cn/ZcyAnnou ... 1ebb5a331ca6703149f
这个网址也失败了

举报 使用道具
8#
Fuller 管理员 发表于 2021-10-27 15:50:07 | 只看该作者
木木西里数据 发表于 2021-10-27 14:41
http://zfcg.gxzf.gov.cn/ZcyAnnouncement/ZcyAnnouncement1/ZcyAnnouncement3001/rCIs75v8DfB5cZh1YpeV7 ...

这个iframe比较特殊,新版本数据管家软件在这里遇到bug了,暂时需要使用老版本爬虫软件定义规则和采集数据
举报 使用道具
9#
Fuller 管理员 发表于 2021-10-27 16:20:37 | 只看该作者
数据管家是支持iframe的,但是,这个网页上的iframe不一样,目前处理不了,需要下个版本解决这个问题
举报 使用道具
10#
木木西里数据 金牌会员 发表于 2021-11-8 09:34:49 | 只看该作者
Fuller 发表于 2021-10-27 16:20
数据管家是支持iframe的,但是,这个网页上的iframe不一样,目前处理不了,需要下个版本解决这个问题 ...

中国河北政府采购网-列表页-中标信息-SALL 这个任务的iframe好像也不能正常抓取

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-23 18:32