请教个问题:
我使用主题:kxjjgxfww,爬取基金数据http://npd.nsfc.gov.cn/fundingProjectSearchAction!search.action,列表+翻页。正常翻到66页,后面就翻不过去了。但使用手工能过去。请求解答,非常感谢!!






举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-10-10 17:26

沙发
Fuller 管理员 发表于 2017-10-10 17:14:52 | 只看该作者


不要勾“内容定位”,翻页,或者输入页码以后跳转到66页,选择菜单 规则-》刷新页面结构,再选择菜单分析页面,看到有失败的内容,到这一页后,项目名称不再是超链接了。

这种网页结构有变化的,可以在同一个主题下定义两个规则,用不同的规则编号。第二个规则定义的时候先翻页到这里,再定义

DS打数机运行的时候会自动选一个。

也可以仔细观察一下网页结构,也许能调整一下规则,让一个规则很通用

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
wangyong 版主 发表于 2017-10-10 17:20:45 | 只看该作者

项目名称勾了关键内容,但是66页和前面几页的结构不同,勾了关键内容的抓取内容没出现就失败了
解决翻页到中间失败的问题可以参看教程:《翻页到中间就失败了怎么解决》

具体到这个网页错误的原因就是只有有链接标题是蓝色的,text文本内容才存在DT下的A节点

没有链接的标题text是存在DT下的FONT节点

解决方法就是把DT这个节点映射到项目名称就可以了

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
地板
bnuyjj 新手上路 发表于 2017-10-10 17:26:35 | 只看该作者
非常感谢及时解答,我再试一试
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 为什么用微软的excel无法打开xls文件?powe
  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法

热门用户

GMT+8, 2025-7-12 07:21