本帖最后由 ym 于 2016-6-17 14:43 编辑

常见问题 > 制作规则—常见问题导航 > 翻页 > 怎么把翻页抓取和层级抓取关联起来

例如两级规则,每一级规则都可以同时做翻页层级,两级主题之间是根据第一级规则设置下级线索的目标主题串联在一起,采数据时不会自动从第一级跳到第二级,需要分别运行采数据。
第一级如果有翻页的话,那么抓数据的时候,翻页采集的同时就会把采到的网址自动为下级规则生成线索,此时,就可以启动下级规则采集数据了。
翻页教程参考http://www.gooseeker.com/doc/article-89-1.html   
层级采集教程参考http://www.gooseeker.com/doc/article-75-1.html  
运行DS打数机教程参考http://www.gooseeker.com/doc/article-122-1.html

举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2016-6-15 09:46

沙发
wwwxxx 初级会员 发表于 2016-6-12 17:31:07 | 只看该作者
翻页抓取完毕后,层级抓取依然只能抓一页的数据,请问如何将二者连接起来?
举报 使用道具
板凳
Fuller 管理员 发表于 2016-6-12 18:21:39 | 只看该作者
wwwxxx 发表于 2016-6-12 17:31
翻页抓取完毕后,层级抓取依然只能抓一页的数据,请问如何将二者连接起来? ...

我估计是两级规则之间主题名对不上。

定义第一级规则的时候,在爬虫路线工作台为第二级起名字,一定要与第二级的规则名一致。

另外,还要检查第一级运行是否成功了?
举报 使用道具
地板
风景不在对岸 初级会员 发表于 2016-6-13 16:30:17 | 只看该作者
Fuller 发表于 2016-6-12 18:21
我估计是两级规则之间主题名对不上。

定义第一级规则的时候,在爬虫路线工作台为第二级起名字,一定要与 ...

规则名是对的,但是一直重复抓取第一页的内容,不会翻页
举报 使用道具
5#
ym 版主 发表于 2016-6-13 17:37:49 | 只看该作者
风景不在对岸 发表于 2016-6-13 16:30
规则名是对的,但是一直重复抓取第一页的内容,不会翻页

没有执行翻页,说明翻页设置不适用,试试换另一种方式来翻页吧
举报 使用道具
6#
风景不在对岸 初级会员 发表于 2016-6-13 18:16:25 | 只看该作者
好的,谢谢
举报 使用道具
7#
wwwxxx 初级会员 发表于 2016-6-15 09:46:28 | 只看该作者
Fuller 发表于 2016-6-12 18:21
我估计是两级规则之间主题名对不上。

定义第一级规则的时候,在爬虫路线工作台为第二级起名字,一定要与 ...

谢谢,规则名对上就成功了
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 21:47