加载更多、查看更多的网页怎样做翻页

liuhu521 发表于 2017-2-23 12:37
很郁闷，在DS浏览器采集中打开页面速度不算慢，比我之前的BB-Primalush这个网站要快的，DS页面也没发现异 ...

自己看第二个规则有没有翻页 没有翻页就去加载规则看是不是翻页线索有问题

liuhu521 发表于 2017-2-23 12:37
很郁闷，在DS浏览器采集中打开页面速度不算慢，比我之前的BB-Primalush这个网站要快的，DS页面也没发现异 ...

规则没有问题，在第二页加载后也要等会儿才抓取的，并不是立马抓取的，这个跟超时时长这个参数设置有关。如果想要加快抓取，可以勾上定时器触发，详情说明看《怎么样优化DS打数机/爬虫参数提高抓取速度》

ym 发表于 2017-2-23 15:01
规则没有问题，在第二页加载后也要等会儿才抓取的，并不是立马抓取的，这个跟超时时长这个参数设置有关。 ...

非常感谢，搞定了

这种翻页好像是无线翻页，怎么限定他停止呢？比如限定它刷新50次

Portiken 发表于 2018-1-18 08:49
这种翻页好像是无线翻页，怎么限定他停止呢？比如限定它刷新50次

1，在DS打数机的菜单中选择，高级 -> 终点标志 -> 重复内容，勾上“重复内容”，抓完最后一页就会停止
2，要限制翻页次数，需要使用爬虫群采集，在爬虫群的调度设置中可以设置。参考《限制翻页次数》

没有下一页也没有数字1、2、3翻页，需要鼠标点击下一个视频。利用相对相对线索，一直抓取同一页

ysq5240 发表于 2020-11-4 19:02
没有下一页也没有数字1、2、3翻页，需要鼠标点击下一个视频。利用相对相对线索，一直抓取同一页 ...

任务的名字是什么？