没有下一页只有加载更多

没有下一页只有加载更多，怎么采集？

点击“加载更多”既可以用连续动作的模拟点击，也可以用爬虫路线的模拟点击，各自适应的情况不一样

1）网页上有一个或者多个加载更多，而且点击展开以后就不会再收缩：首选爬虫路线，也可以用连续动作。爬虫路线每次只能点一个，也就是点最前面那个“加载更多”，这样逐个可以把所有的点完
2）网页上有多个加载更多，而且点击展开一个那么前一个再次变成“加载更多”：只能用连续动作，而且定义点击位置的XPath的时候要特别注意，XPath一定要计算出来一个节点集，包含所有点开的和未点开的“加载更多”，一定要包含已经点开的节点，这样，连续动作的顺序才不会乱，DS打数机采知道点击到哪一个了。

总之，连续动作能适应所有情况，只是连续动作的定义过程复杂一点。

页面是点击加载更多后会显示一部分内容，后面的内容还是需要重复点加载更多。像这种页面用爬虫路线，模拟点击怎么操作呢？

塗塗 发表于 2018-10-17 11:12
页面是点击加载更多后会显示一部分内容，后面的内容还是需要重复点加载更多。像这种页面用爬虫路线，模拟点 ...

“点击加载更多”跟“下一页”是一样的作用，按照翻页采集做规则就行。参看教程：https://www.gooseeker.com/doc/article-334-1.html

但是有个不同：这种网页会越点越长，而且每次存储的内容是上一次都存过的，也就是是很多重复内容。到时候需要自己过滤一下