请教个问题:
我使用主题:kxjjgxfww,爬取基金数据http://npd.nsfc.gov.cn/fundingProjectSearchAction!search.action,列表+翻页。正常翻到66页,后面就翻不过去了。但使用手工能过去。请求解答,非常感谢!!






举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2017-10-10 17:26

沙发
Fuller 管理员 发表于 2017-10-10 17:14:52 | 只看该作者


不要勾“内容定位”,翻页,或者输入页码以后跳转到66页,选择菜单 规则-》刷新页面结构,再选择菜单分析页面,看到有失败的内容,到这一页后,项目名称不再是超链接了。

这种网页结构有变化的,可以在同一个主题下定义两个规则,用不同的规则编号。第二个规则定义的时候先翻页到这里,再定义

DS打数机运行的时候会自动选一个。

也可以仔细观察一下网页结构,也许能调整一下规则,让一个规则很通用
举报 使用道具
板凳
wangyong 版主 发表于 2017-10-10 17:20:45 | 只看该作者

项目名称勾了关键内容,但是66页和前面几页的结构不同,勾了关键内容的抓取内容没出现就失败了
解决翻页到中间失败的问题可以参看教程:《翻页到中间就失败了怎么解决》

具体到这个网页错误的原因就是只有有链接标题是蓝色的,text文本内容才存在DT下的A节点

没有链接的标题text是存在DT下的FONT节点

解决方法就是把DT这个节点映射到项目名称就可以了
举报 使用道具
地板
bnuyjj 新手上路 发表于 2017-10-10 17:26:35 | 只看该作者
非常感谢及时解答,我再试一试
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 04:27