这个网站采集需要登录,但是每隔一小时就需要重新登录一次,请问怎么解决?
规则名:cesmd3-1
网址:https://www.strongmotioncenter.o ... on&Processed=on
举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2021-4-20 16:36

沙发
Fuller 管理员 发表于 2021-4-15 22:03:08 | 只看该作者
登录问题爬虫没法解决,可以每隔一小时在爬虫浏览器中人工登录一下
举报 使用道具
板凳
18443172656 中级会员 发表于 2021-4-15 22:08:00 | 只看该作者
主要是我待采集量很大,3万多条,人工登录太麻烦
举报 使用道具
地板
18443172656 中级会员 发表于 2021-4-18 21:30:48 | 只看该作者
Fuller 发表于 2021-4-15 22:03
登录问题爬虫没法解决,可以每隔一小时在爬虫浏览器中人工登录一下

我可不可以设置一个规则(用来登录),然后每小时运行一次?
举报 使用道具
5#
Fuller 管理员 发表于 2021-4-18 21:39:25 | 只看该作者
18443172656 发表于 2021-4-18 21:30
我可不可以设置一个规则(用来登录),然后每小时运行一次?

如果登录过程不需要输入验证码,只是输入账号和密码,可以做一个规则。

旗舰版可以在会员中心设置自动调度周期1小时,还可以用本地调度,可以把时间控制的更细。本地调度需要编辑一个crontab.xml文件,具体参看:https://www.gooseeker.com/doc/article-112-1.html
举报 使用道具
6#
18443172656 中级会员 发表于 2021-4-20 11:53:22 | 只看该作者
Fuller 发表于 2021-4-18 21:39
如果登录过程不需要输入验证码,只是输入账号和密码,可以做一个规则。

旗舰版可以在会员中心设置自动调 ...

有自动设置周期的教程吗

举报 使用道具
7#
Fuller 管理员 发表于 2021-4-20 16:36:13 | 只看该作者
18443172656 发表于 2021-4-20 11:53
有自动设置周期的教程吗



在会员中心选中一个任务,点击“调度设置”,打开周期设置,你是旗舰版,最小时间粒度应该是小时。可以选择“到时间立即执行”,那么就可以每小时执行一次这个任务

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 话题分析(NMF模型和LDA模型)软件的安装和
  • 运行Apple无法验证的程序的方法
  • 文本聚类分析软件的安装和使用方法
  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为

热门用户

GMT+8, 2025-2-6 16:02