这个能大量抓取微信公众号的文章吗

举报 使用道具
| 回复

共 4 个关于本帖的回复 最后回复于 2017-2-22 10:45

沙发
HJLing 版主 发表于 2017-2-7 14:24:24 | 只看该作者
只要能访问就能采
举报 使用道具
板凳
拯救地球 初级会员 发表于 2017-2-7 14:25:35 | 只看该作者
HJLing 发表于 2017-2-7 14:24
只要能访问就能采

那要是IP被封了怎么办

举报 使用道具
地板
HJLing 版主 发表于 2017-2-7 14:38:26 | 只看该作者
拯救地球 发表于 2017-2-7 14:25
那要是IP被封了怎么办

换IP
大批量采集的话网站一般都会限制访问
可以放慢采集速度
定时换ip清cookie

举报 使用道具
5#
xandy 论坛元老 发表于 2017-2-22 10:45:16 | 只看该作者
集搜客推出的数据DIY,只要添加网址或关键词就可以添加任务下载各个网站的数据了。

微信数据可以进入数据DIY微信分类下选取各个页面即时采集并下载数据,涵盖的页面有:微信文章列表采集、微信公众号搜索列表等等,后续会有更多的网站上架。
不用花时间学习爬虫,点点鼠标就可以获取了。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文

热门用户

GMT+8, 2024-12-23 11:41