11#
quyixuan 金牌会员 发表于 2017-3-6 16:14:05 | 只看该作者
楼上的建议是对的,我刚才没注意,每一页都是有独立网址的
http://apps.webofknowledge.com/f ... mp;page=1&doc=1
这个网址表示第一页
http://apps.webofknowledge.com/f ... mp;page=1&doc=2
这是第二页
想采集第几页就把网址最后的doc=?改成几就行了
这些网址都可以做为规则的线索添加进去,可以用爬虫群同时开多个窗口采集
举报 使用道具
12#
davidfang 新手上路 发表于 2017-3-6 16:18:29 | 只看该作者
quyixuan 发表于 2017-3-6 16:14
楼上的建议是对的,我刚才没注意,每一页都是有独立网址的
http://apps.webofknowledge.com/full_record.do ...

后面的编号是变的。。。你说的那个我不太会啊。。
举报 使用道具
13#
quyixuan 金牌会员 发表于 2017-3-6 16:42:03 | 只看该作者
davidfang 发表于 2017-3-6 16:18
后面的编号是变的。。。你说的那个我不太会啊。。

你就拿一个页面做采集规则,然后把每个页面的网址添加到这个采集规则就行了
给规则添加线索要是不会的话去教程页搜索一下

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-18 15:23