农管家的翻页怎么做规则？

明明1843992014

网址：http://www.laodao.so/forum/list

HJLing · 发表于 2017-2-14 10:25:26

就是普通的瀑布流形式
对“点击加载更多”做记号线索就可以了
翻页的教程参考《翻页采集列表》
需要注意的是，瀑布流形式的页面采集结果文件会有重复数据，需要自己去重

Fuller · 发表于 2017-2-14 10:37:07

这种没有尽头的网页，所占用的内存会无限扩大，最后把程序搞崩溃了。所以，如果要长期连续运行，就要设置爬虫群模式，调度参数中可以设置翻页次数，比如，100次，这样就禁止无限翻页

共 2 个关于本帖的回复最后回复于 2017-2-14 10:37

	B Color Image Link Quote Code Smilies 高级模式您需要登录后才可以回帖登录 \| 立即注册回帖并转播回帖后跳转到最后一页