问:有的网站的网页上没有中文下一页或英文NEXT,只有首页,数字1,2,3,......尾页(可能因为页面少),如何实现翻页功能呢?如http://leitai.500.com/pages/sfc/huiz.php?playtype=29
答:GooSeeker网络爬虫有多重翻页模式,如果首选的“标记线索”无法找到合适的标记,那么可以用以下替代模式
1)相对线索:比如,【1】,2,3,4,【1】表示当前分页,2就是下一分页,那么选择“相对线索”类型,【1】是当前位置,2是下一位置
2)不使用连贯抓取:如果每个分页的网址都有独立的url,那么在“爬虫路线”工作台上不要勾选“连贯抓取”,会给每个分页生成独立的线索,当成独立的网页进行抓取 |
|
|
|
|
共 0 个关于本帖的回复 最后回复于 2015-9-11 09:33