请问Google 搜索页面结果 怎么翻页?下面的翻页那里有尖头的。比如:
https://www.google.com/search?sclient=psy-ab&biw=1517&bih=707&noj=1&q=site%3Auk++%22Radio+Control+Planes%22+OR+Helicopters+OR+%22RC+Cars%22&oq=site%3Auk++%22Radio+Control+Planes%22+OR+Helicopters+OR+%22RC+Cars%22&gs_l=serp.12...0.0.1.160268.0.0.0.0.0.0.0.0..0.0....0...1..64.serp..0.0.0.NZhj5J7pTpM

我总是采集失败。主题是:Model-shops2

请尽快回复。谢谢
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2017-5-17 18:54

沙发
Duoyinfo 初级会员 发表于 2017-5-17 17:06:25 | 只看该作者
爬取的时候总是不能翻页。手动翻页的话不能抓取
举报 使用道具
板凳
wangyong 版主 发表于 2017-5-17 17:14:14 | 只看该作者
做记号线索时,没有翻页按钮是箭头的需要在定义翻页线索时取消文本内容

记号线索没效果时参考《相对线索》使用数字按钮翻页
举报 使用道具
地板
Fuller 管理员 发表于 2017-5-17 17:22:33 | 只看该作者
Duoyinfo 发表于 2017-5-17 17:06
爬取的时候总是不能翻页。手动翻页的话不能抓取

加载你的规则失败,就是翻页规则那里,你的翻页xpath是:
  1. //*[@class='fl']/span[.//text()="Next" and position()=2]
复制代码


里面有个position()函数,固定死了第二个位置,就没有了灵活性,一定是做线索定位映射的时候没有选择整个翻页区


像上图那样,用翻页区做线索的定位映射,还要设置一下定位偏好,选择偏好id,就能用上那个@id='nav',这样生成的xpath最简练

举报 使用道具
5#
Duoyinfo 初级会员 发表于 2017-5-17 17:58:55 | 只看该作者
现在翻页速度很慢。
主题:Model-shops3
举报 使用道具
6#
Duoyinfo 初级会员 发表于 2017-5-17 17:59:13 | 只看该作者
如何提高翻页速度呢
举报 使用道具
7#
xandy 论坛元老 发表于 2017-5-17 18:15:37 | 只看该作者
Duoyinfo 发表于 2017-5-17 17:59
如何提高翻页速度呢

参看:《设置采集速度
举报 使用道具
8#
Fuller 管理员 发表于 2017-5-17 18:52:34 | 只看该作者
Duoyinfo 发表于 2017-5-17 17:59
如何提高翻页速度呢

DS打数机窗口下部是日志窗口,看看显示了什么提示,正常情况下什么信息都没有。如果这个窗口部分隐藏了,那么点中DS窗口下边沿中部,往上拉,看看是什么提示?
如果说是速度需要优化,那么选择DS打数机菜单  配置-》定时器触发
举报 使用道具
9#
Duoyinfo 初级会员 发表于 2017-5-17 18:54:40 | 只看该作者
搞定了。谢谢
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-5-4 20:10