14 21827

翻页

lsckyj 于 2018-4-30 12:21 发表 [复制链接]
为什么不能翻页,明明按照教程做的,哪位大神指点一下
SI95~G7[8E(TG((7]IO~Y}9.png
举报 使用道具
| 回复

共 14 个关于本帖的回复 最后回复于 2018-5-2 20:40

Fuller 管理员 发表于 2018-4-30 12:34:12 | 显示全部楼层
根据“小猪佩奇”这个主题名查不到你的规则。你的规则还没有存吗?

翻页规则中,当前主题名通常与目标主题名一样,因为每一分页的结构都是一样的,用同一个规则抓取所有分页
举报 使用道具
lsckyj 初级会员 发表于 2018-4-30 14:32:18 | 显示全部楼层
我的主题名和目标主题名一样,可还是无法实现翻页
举报 使用道具
lsckyj 初级会员 发表于 2018-4-30 15:41:34 | 显示全部楼层
不好意思,现在保存了
举报 使用道具
Fuller 管理员 发表于 2018-4-30 16:18:37 | 显示全部楼层
翻页规则.png 看来是翻页规则有问题,我查查原因
举报 使用道具
Fuller 管理员 发表于 2018-4-30 16:29:55 | 显示全部楼层
翻页区80430162122.png
1,翻页区映射,选择那个含有@id='paginator'的div做翻页区映射
2,翻页标志映射:选择那个“后页>”的text做翻页标志映射
3,因为作为翻页区的那个div既有id也有class,为了使用id,选择“定位偏好”按钮,选择偏好id
举报 使用道具
lsckyj 初级会员 发表于 2018-4-30 17:35:08 | 显示全部楼层
大神,谢谢,翻页的问题已经解决啦,但是现在出现了新问题,不能把全部数据抓取完,只能抓取部分,问题:抓取规则不合适或者超时时间设置太短。麻烦了。
举报 使用道具
maomaotest3 初级会员 发表于 2018-4-30 18:15:33 | 显示全部楼层
你做的规则,不能适用于所有的网页。看下这篇帖子。
https://www.gooseeker.com/doc/thread-10128-1-1.html
举报 使用道具
Fuller 管理员 发表于 2018-4-30 18:29:56 | 显示全部楼层
lsckyj 发表于 2018-4-30 17:35
大神,谢谢,翻页的问题已经解决啦,但是现在出现了新问题,不能把全部数据抓取完,只能抓取部分,问题:抓 ...

翻页到中途出现这个失败信息吗?

关键内容20180430182526.png

关键内容是判断规则是否适合的依据,你这个规则很简单,只有一个关键内容,很可能翻页到某一页以后,这个关键内容就定位不到了。

可以这样做
1,在工作台上加载和分析好这个规则
2,在界面顶部工具条中间有个“内容定位”,不要勾,才能点击超链接
3,手工点击翻页,翻到失败的那一页
4,选择菜单 规则-》刷新网页结构
5,选择菜单 规则-》分页页面
如果这个时候提示分析失败,那么就可以查查为什么会对应不上,就可以调整内容映射,让内容映射更有通用性
举报 使用道具
lsckyj 初级会员 发表于 2018-5-2 15:25:28 | 显示全部楼层
我试了一下,还是不行,是不是在豆瓣上面只能爬200多条
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 12:57