我有一个三层的抓取,第一层抓取股票代码,主题ZJU_guba_GEM_list,第二层用来抓取每个股票的帖子列表,主题ZJU_guba_GEM_detail,第三层抓取每个帖子的回复,主题ZJU_guba_GEM_content。
我的需求是抓取每个股票最早的若干个帖子,即第二层中从最后一页向前翻页。但由于设置了分级抓取,第一层抓取的线索默认是从第一页开始的,请问有什么解决办法?
是不是在原有的第二级前新加一级,新加的一级不设置任何property,仅仅点击“最后一页”呢?这个点击是不是要取消“点击定位dom”的?谢谢~
线索就是一系列的网址,fuller的意思是把你原来的三层变成四层,以全是最后一页的链接作为第二层线索,第三层才去抓取列表
谢谢,你的意思我懂了,那么在新加入的第二级中,为了获得最后一页的线索,应该设置何种线索类型呢?还是info么?是否需要设置线内线索?我的主题为ZJU_guba_GEM_last,不知能不能帮我看一下哈
应该是层级抓取用的info线索,因为抓取到的网址要作为下一级抓取的线索,下一级抓取的时候把翻页标记为“上一页”应该可以完成你说的要求
第一级到第二级用info线索,在第二级,用线内线索点击“最后一页”,就能在线内进入第三级,在第二级也可以用info线索,要看网站上能否提取那个“最后一页”线索出来
一般网页的翻页区会有“最后一页”超链接,第二级点击这个超链接,到第三级再去抓取列表内容
具体操作
是不是在原有的第二级前新加一级,新加的一级不设置任何property,仅仅点击“最后一页”呢?这个点击是不是要取消“点击定位dom”的?谢谢~
不是
线索就是一系列的网址,fuller的意思是把你原来的三层变成四层,以全是最后一页的链接作为第二层线索,第三层才去抓取列表
那么设置何种线索类型?
谢谢,你的意思我懂了,那么在新加入的第二级中,为了获得最后一页的线索,应该设置何种线索类型呢?还是info么?是否需要设置线内线索?我的主题为ZJU_guba_GEM_last,不知能不能帮我看一下哈
个人觉得应该是info
应该是层级抓取用的info线索,因为抓取到的网址要作为下一级抓取的线索,下一级抓取的时候把翻页标记为“上一页”应该可以完成你说的要求
第一级到第二级用info线索
第一级到第二级用info线索,在第二级,用线内线索点击“最后一页”,就能在线内进入第三级,在第二级也可以用info线索,要看网站上能否提取那个“最后一页”线索出来
在第一级之后插入一级
一般网页的翻页区会有“最后一页”超链接,第二级点击这个超链接,到第三级再去抓取列表内容