请教高手,我想抓取一个农业网站的每日价格数据,但是管理方没有采用表格或者是普通文字来显示,而是用Flash Player显示,我将网页导入后就是下图的样子,请问这种数据要怎么才能抓取?

QQ图片20160126223411.png (7.33 KB, 下载次数: 683)

QQ图片20160126223411.png
举报 使用道具
| 回复

共 10 个关于本帖的回复 最后回复于 2020-12-17 09:26

沙发
Fuller 管理员 发表于 2016-1-26 23:18:03 | 只看该作者
flash中的内容抓取不了
举报 使用道具
板凳
zj841215 新手上路 发表于 2016-6-26 05:23:38 | 只看该作者
我想问个问题,www.365sport365.com的数据可以抓取吗
举报 使用道具
地板
zj841215 新手上路 发表于 2016-6-26 05:24:06 | 只看该作者
这个好像也是flash显示的。
举报 使用道具
5#
Fuller 管理员 发表于 2016-6-26 09:19:41 | 只看该作者
zj841215 发表于 2016-6-26 05:24
这个好像也是flash显示的。

把这个网址加载到MS谋数台上分析一下DOM,我分析了,绝大多数内容都能抓,虽然一开始加载了很久flash相关的东西,但是不知道是什么,在网页上没有找到。

你想抓什么内容?
举报 使用道具
6#
qdwyx2008 新手上路 发表于 2020-12-16 11:15:37 | 只看该作者
Fuller 发表于 2016-6-26 09:19
把这个网址加载到MS谋数台上分析一下DOM,我分析了,绝大多数内容都能抓,虽然一开始加载了很久flash相关 ...

我也想抓取这个网站下面农产品的数据,能帮忙解密下真实的url地址吗
举报 使用道具
7#
wangyong 版主 发表于 2020-12-16 11:17:09 | 只看该作者
qdwyx2008 发表于 2020-12-16 11:15
我也想抓取这个网站下面农产品的数据,能帮忙解密下真实的url地址吗

要采集的网址发一下
举报 使用道具
8#
Fuller 管理员 发表于 2020-12-16 11:43:20 | 只看该作者
qdwyx2008 发表于 2020-12-16 11:15
我也想抓取这个网站下面农产品的数据,能帮忙解密下真实的url地址吗

新版本增强版网络爬虫软件正在开发抓包功能,你把网址发出来,我们看看通过抓包是否能抓下来数据
举报 使用道具
9#
qdwyx2008 新手上路 发表于 2020-12-17 05:39:11 | 只看该作者
wangyong 发表于 2020-12-16 11:17
要采集的网址发一下

http://jgsb.agri.cn/controller?SERVICE_ID=REGISTRY_JCSJ_MRHQ_SHOW_SERVICE&recordperpage=15&newsearch=true&login_result_sign=nologin
举报 使用道具
10#
qdwyx2008 新手上路 发表于 2020-12-17 05:40:08 | 只看该作者
Fuller 发表于 2020-12-16 11:43
新版本增强版网络爬虫软件正在开发抓包功能,你把网址发出来,我们看看通过抓包是否能抓下来数据
...

http://jgsb.agri.cn/controller?SERVICE_ID=REGISTRY_JCSJ_MRHQ_SHOW_SERVICE&recordperpage=15&newsearch=true&login_result_sign=nologin
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-24 21:23