抖音关键词搜索为什么总是只有400多条？

我用抖音关键词搜索了好几次，不同关键词，出来的结果都是400多条，不知道是什么缘故导致的？

首先，一定要把窗口放大到最大；其次，网络一定要足够快；如果运行了360，网络速度会大大变慢。原因如下：

抖音网站都是瀑布流网页，鼠标往下滚动，才会加载新内容。爬虫运行的时候，设定了一个条件，如果连续N次滚屏都没有看到新内容，就中断运行了，会显示一条告警日志：重复内容中断。

如果屏幕很小，那么滚屏好几次都触发不了加载新内容，就特别容易发生重复内容中断。如果网络不好，也是同样的道理

瀑布流网页一般很难采集大量数据，越往下滚动，网页越长，占用的内存越大，电脑就变得越来越慢，很快就处理不动了

我刚才测试了“广州”这个关键词，采集不到多少，364条，网页上就显示：暂时没有更多了。应该是抖音网站做了限制。需要精选一下关键词，用多个关键词覆盖到尽量多的内容

是抖音限制的原因吗？郁闷，其实下拉内容肯定很多的，不知道为什么不能抓到，而且抓到的内容时间也基本在这两年内。

是抖音网站限制的原因吗？覆盖内容的话下拉应该是有更多的，不知道怎么就不抓了，而且都是近两年的内容。

sshangren 发表于 2022-12-2 12:21
是抖音网站限制的原因吗？覆盖内容的话下拉应该是有更多的，不知道怎么就不抓了，而且都是近两年的内容。 ...

瀑布流网页都是这样，最近微博也改成这样了，以前都有翻页页码，能采集很多数据，没有翻页页码，鼠标往下拉几次就不显示新内容了。可能是特意限制采集数据

Fuller 发表于 2022-12-2 15:28
瀑布流网页都是这样，最近微博也改成这样了，以前都有翻页页码，能采集很多数据，没有翻页页码，鼠标往下 ...

这个问题有解决办法吗？还是抖音就爬不了了？

sshangren 发表于 2022-12-8 22:43
这个问题有解决办法吗？还是抖音就爬不了了？

抖音可以爬，对于瀑布流网页，要爬取更多的数据，需要网速好和电脑运行时不卡顿。
对于抖音关键词搜索结果页面，往下滚屏达到一定的次数后，就不再显示新的数据了，这是网站的限制。