我想用的是搜狗里面的微信搜索,抓一些微信内容需要登录才能看全,用集搜客是否能登录搜狗的微信搜索,请指导
举报 使用道具
| 回复

共 1 个关于本帖的回复 最后回复于 2017-2-15 19:06

沙发
Fuller 管理员 发表于 2017-2-15 19:06:14 | 只看该作者
可以登录抓取,而且有三个方案,可以择其一

方案一:预先登录。集搜客网络爬虫本省就是一个浏览器,你可以现在浏览器窗口中预先登录,那么爬虫运行的时候就能使用这个登录状态。

如果安装的是火狐插件版,那么在火狐中先登录好;如果安装的是GS浏览器,那么在GS浏览器中先登录好。

方案二:用连续动作实现自动登录,至少要做如下几个动作
1,自动输入账号
2,自动输入密码
3,自动点击“登录”按钮
也可能需要输入验证码,则需要旗舰版的连接打码平台的功能。

方案三:爬虫群模式下的自动登录:设置抓取规则的调度参数,运行在爬虫群模式下,有专门的自动登录调度参数,设置好以后,每次调度运行的时候都能自动登录
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-23 09:10