求助：股吧多层级爬虫

首创股吧


http://guba.eastmoney.com/list,600008.html


求教：我想爬东方财富股吧中某一只股票贴吧的帖子列表情况及每一条帖子后面跟帖，由于跟帖界面首页和第2页结构不同，因而需要两个规则，请问在做多层级爬虫的时候顺序是怎样的，该怎样做？在做跟帖页面爬虫的时候，需要点击两次才能爬完两个规则，请问能不能自动爬完？


规则名称：首创HC04B01


拜托拜托，先谢过好心人。

你可以看看这2篇教程: 层级抓取 ,数据采集步骤

你的规则就是抓取帖子回复信息, 没有看出来你说的"需要点击"是指哪里

shenzhenwan10 发表于 2017-6-23 09:08
你的规则就是抓取帖子回复信息, 没有看出来你说的"需要点击"是指哪里

就是在运行规则的时候，每次点击单搜或者集搜，都只会爬前两页，需要再点击一次单搜或者集搜才能爬完下面的

不能理解
你点击单搜或集搜, 无论爬几页, 这条线索就已经执行了, 不是待抓取状态了
再次点击单搜或集搜, 应该执行的是下一条线索了

可能你保存了2个规则, 也就保存了2个不同的网址
一个是首页的网址
一个是翻页后的网址

shenzhenwan10 发表于 2017-6-23 10:23
可能你保存了2个规则, 也就保存了2个不同的网址
一个是首页的网址
一个是翻页后的网址 ...

对，是这样，两个规则需要点击两次吗？能不能一次就行呢？

你是抓取回帖, 只用1个规则就可以了, 把规则2删除掉
你昨天已经发了这个问题的帖子, 可以看看最后的回复 求处理股吧翻页到第三页就停止

shenzhenwan10 发表于 2017-6-23 11:00
你是抓取回帖, 只用1个规则就可以了, 把规则2删除掉
你昨天已经发了这个问题的帖子, 可以看看最后的回复 求 ...

谢谢你呀，是的，那第一页就没有办法抓了是吗？因为我是想通过下级线索从帖子列表直接抓取所有的跟帖，如果跳掉规则2，没有连接的网址

从列表抓到的网址就是从第一页开始的