根据关键词抓取所有微信文章,抓了几十页就显示已停止,显示访问过度频繁要输入验证码,但验证码怎么输显示输入错误。这种情况怎么办?

举报 使用道具
| 回复

共 7 个关于本帖的回复 最后回复于 2020-2-9 23:17

沙发
Fuller 管理员 发表于 2019-2-24 18:27:26 | 只看该作者
爬取微信文章,首先要登录搜狗微信,如果出验证码了,换一下IP,就可以了
举报 使用道具
板凳
lai8463877 新手上路 发表于 2019-2-25 09:46:27 | 只看该作者
技术问题我不懂 但需要IP可以找我
举报 使用道具
地板
shirley19970210 新手上路 发表于 2019-2-25 16:57:10 | 只看该作者
Fuller 发表于 2019-2-24 18:27
爬取微信文章,首先要登录搜狗微信,如果出验证码了,换一下IP,就可以了 ...

已经出现已停止了,换一个ip后能继续采集吗?
举报 使用道具
5#
Fuller 管理员 发表于 2019-2-25 17:06:14 | 只看该作者
shirley19970210 发表于 2019-2-25 16:57
已经出现已停止了,换一个ip后能继续采集吗?

是抓取搜狗搜索的结果?正在翻页抓取停止了?
举报 使用道具
6#
shirley19970210 新手上路 发表于 2019-2-25 18:19:02 | 只看该作者
Fuller 发表于 2019-2-25 17:06
是抓取搜狗搜索的结果?正在翻页抓取停止了?

就是搜狗微信采集,采集了50多页之后突然跳出验证码(如图),然后过一会儿页面就变成采集结束,状态显示已停止。这种情况是不是要在跳出输入验证码的页面的时候立马切换ip验证才能继续采集啊?

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
7#
Fuller 管理员 发表于 2019-2-25 18:56:56 | 只看该作者
shirley19970210 发表于 2019-2-25 18:19
就是搜狗微信采集,采集了50多页之后突然跳出验证码(如图),然后过一会儿页面就变成采集结束,状态显示 ...

估计一下,多久会出验证码,然后隔一段时间,换一下IP,不要等到出验证码了再换
举报 使用道具
8#
GGGGGGolong 新手上路 发表于 2020-2-9 23:17:13 | 只看该作者
我这边也提供了一套免费抓取的方式,https://github.com/Edaaaaa/wx-spider 可以供大家参考
codes里面有php和py的 demo 简单写一点逻辑就可以使用了

目前市面上大多数免费的方案都是通过中间人代理的方式 ,需要配置类似 fiddler或者charles之类的工具 本地的请求转发到服务端, 这种方式执行起来太过于繁琐,并且自动化的流程比较复杂. 我提供的免费api方式可以 在几分钟时间内从开发到上线.

如果对你有帮助的话 记得在github点一下star 谢谢了~
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 360或火绒等杀毒软件导致GooSeeker爬虫软件
  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反

热门用户

GMT+8, 2025-4-22 19:48