快捷导航
39 9278

微信数据采集攻略

shenzhenwan10 于 2016-12-29 15:26 发表 [复制链接]
hpatdhollg 新手上路 发表于 2019-4-29 17:36:20 | 显示全部楼层
Fuller 发表于 2019-4-29 15:31
搜狗微信的首页应该是这一个:https://weixin.sogou.com/

可以了,谢谢!


举报 使用道具
1000sprites 初级会员 发表于 2019-7-14 10:59:11 | 显示全部楼层
如何将微信文章链接转换为永久链接[即去除时效性]呢?
举报 使用道具
Fuller 管理员 发表于 2019-7-14 11:42:40 | 显示全部楼层
1000sprites 发表于 2019-7-14 10:59
如何将微信文章链接转换为永久链接[即去除时效性]呢?

用算法剔除太难了
举报 使用道具
是靖靖靖哇ai 新手上路 发表于 2019-8-8 10:22:01 | 显示全部楼层
微信搜索每次到50,60页的时候网址就会让写验证码,抓取就失败了,也已经登陆了,请问怎么解决呢,谢谢
举报 使用道具
Fuller 管理员 发表于 2019-8-8 10:29:51 | 显示全部楼层
是靖靖靖哇ai 发表于 2019-8-8 10:22
微信搜索每次到50,60页的时候网址就会让写验证码,抓取就失败了,也已经登陆了,请问怎么解决呢,谢谢 ...

这个不好解决,要么手工打码,要么用集搜客爬虫的打码功能,只有旗舰版才有,而且要在第三方打码平台上开户,目前支持云速打码和联众打码,自从云速打码平台被关闭以后,打码精度就很低了,最近还在寻找其他高精度的打码
举报 使用道具
是靖靖靖哇ai 新手上路 发表于 2019-8-8 10:36:19 | 显示全部楼层
Fuller 发表于 2019-8-8 10:29
这个不好解决,要么手工打码,要么用集搜客爬虫的打码功能,只有旗舰版才有,而且要在第三方打码平台上开 ...

我基本上就一直看着手工打码了,当时3600多条消息,只能爬下来1660条,而且没有错误,显示成功,请问是什么原因呢,是我爬的数据太多嘛?


举报 使用道具
Fuller 管理员 发表于 2019-8-8 10:46:29 | 显示全部楼层
是靖靖靖哇ai 发表于 2019-8-8 10:36
我基本上就一直看着手工打码了,当时3600多条消息,只能爬下来1660条,而且没有错误,显示成功,请问是什 ...

是一种反爬虫措施,限制很严
举报 使用道具
是靖靖靖哇ai 新手上路 发表于 2019-8-8 10:50:21 | 显示全部楼层
Fuller 发表于 2019-8-8 10:46
是一种反爬虫措施,限制很严

那这种问题是没有办法解决的是吗

举报 使用道具
是靖靖靖哇ai 新手上路 发表于 2019-8-8 10:51:34 | 显示全部楼层
是靖靖靖哇ai 发表于 2019-8-8 10:50
那这种问题是没有办法解决的是吗

我不用快捷采集,自己定义规则也会受到限制是吗?
举报 使用道具
Fuller 管理员 发表于 2019-8-8 12:07:46 | 显示全部楼层
是靖靖靖哇ai 发表于 2019-8-8 10:51
我不用快捷采集,自己定义规则也会受到限制是吗?

一样受影响,这是目标网站定的策略,一般是根据访问的数量决定是否要显示验证码
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • NLP文本情感分析入门
  • 机器学习算法入门介绍
  • 中文分词入门和分词工具汇总攻略
  • 自然语言处理NLP的一般处理流程
  • 关于鸿蒙操作系统的知乎讨论热点分析

热门用户

GMT+8, 2019-10-16 14:46