豆瓣有反爬虫吗？

豆瓣有反爬虫吗？为毛我只能爬两页啊

集搜客里的豆瓣快捷采集，采集参数经过调整后，大批量采集也不会触发反爬
下载集搜客新发布的数据管家后，在数据管家中先登录豆瓣账号，在快捷采集中输入要采集的豆瓣网址就可以正常采集数据了。

豆瓣电影列表数据展示：

用集搜客网络爬虫吗？一般是规则没有做好

现在的网站不再是单纯的网页展示，而是要记录各种状态，这种网站更像一个会话系统，对话到哪了，都有相应的http参数记录这些状态。爬虫技术也要相应提高，集搜客爬虫有很多模拟人的行为的机制。

有些网页一定要顺着真人点击顺序进入的，如果只是模拟一下http参数，很多参数是很快就失效了的。如果用python写程序，要处理的事情就很多了

这里有一个理论性的文章《反爬虫的应对方法》

集搜客的快捷采集输入链接就可以采集豆瓣主要板块的数据，调度参数也是经过设置的，可以规避反爬：https://www.gooseeker.com/res/da ... 1%E5%88%97%E8%A1%A8

wangyong 发表于 2020-11-25 15:03
集搜客里的豆瓣快捷采集，采集参数经过调整后，大批量采集也不会触发反爬
下载集搜客新发布的数据管家后， ...

请问这样子之后怎么进行后续的导入导出数据啊？我没法把它转换成Excel

2371178400zad_ 发表于 2021-4-22 16:35
请问这样子之后怎么进行后续的导入导出数据啊？我没法把它转换成Excel

你用的是快捷采集？还是自己定义的规则？
快捷采集运行完成后，点击导出数据就能得到excel。自定义的规则，运行完成后，会看到一个状态提示页面，上面有导出按钮。

你说的没法转成excel是指什么？

2371178400zad_ 发表于 2021-4-22 16:35
请问这样子之后怎么进行后续的导入导出数据啊？我没法把它转换成Excel

采集完成后，可以在快捷采集管理后台中点击打包下载Excel格式的数据