设置了点击动作后继续采取,依旧没办法获得完整数据,执行一会儿自己就跳出了,这个网址:https://www.jta.org/?search-type=global&s=hamas&from_date=10%2F07%2F2023&to_date=05%2F24%2F2024&sort_by=newest
举报 使用道具
| 回复

共 3 个关于本帖的回复 最后回复于 2024-5-25 23:32

沙发
Fuller 管理员 发表于 2024-5-25 07:39:16 | 只看该作者
这个网页越点击网页变得越长,长到一定成都,就会因为内存不够或者运行得太慢就中断了。你可以观察一下,会不会出现点击没有反应的情况。

点击后等待时间可以设置的长一些。在“设置动作”工作台上设置。
另外,可以关掉爬虫的重复内容中断功能。关掉以后有个副作用:再也点不出来新内容的时候也不会中断采集了。那时候要手工中断。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
举报 使用道具
板凳
mollijasmin 新手上路 发表于 2024-5-25 22:46:36 | 只看该作者
Fuller 发表于 2024-5-25 07:39
这个网页越点击网页变得越长,长到一定成都,就会因为内存不够或者运行得太慢就中断了。你可以观察一下,会 ...

我延长了动作时间确实不会直接退出了,但是一直反复采集第一个界面的数据, 这是为啥呢
举报 使用道具
地板
mollijasmin 新手上路 发表于 2024-5-25 23:32:09 | 只看该作者
Fuller 发表于 2024-5-25 07:39
这个网页越点击网页变得越长,长到一定成都,就会因为内存不够或者运行得太慢就中断了。你可以观察一下,会 ...

而且为什么订阅黑框前后的数据没办法抓取到同一个表格里呢,只在上面六条里做样例映射的话就抓不到下面四条,现在想抓到就是要同时设置两个表格
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • 利用AI阅读和分析文本:扣子COZE记录用户反
  • 在网页片段内直观标注——以B站评论采集为
  • 利用AI阅读和分析文本:使用COZE建设游记文
  • 使用AI工具Kimi生成python代码为文本分析结
  • 苹果mac电脑安装集搜客网络爬虫软件失败的

热门用户

GMT+8, 2024-11-21 20:16