Hadoop Failover失败类型和失败处理是什么
Admin 2022-09-24 群英技术资讯 406 次浏览
今天这篇我们来学习和了解“Hadoop Failover失败类型和失败处理是什么”，下文的讲解详细，步骤过程清晰，对大家进一步学习和理解“Hadoop Failover失败类型和失败处理是什么”有一定的帮助。有这方面学习需要的朋友就继续往下看吧！失败类型
- 程序问题
- 进程崩溃
- 硬件问题
失败处理
任务失败
- 运行时异常或者JVM退出都会报告给ApplicationMaster
- 通过心跳来检查挂住的任务(timeout)，会检查多次（可配置）才判断该任务是否失效
- 一个作业的任务失败率超过配置，则认为该作业失败
- 失败的任务或作业都会有ApplicationMaster重新运行
ApplicationMaster失败
- ApplicationMaster定时发送心跳信号到ResourceManager，通常一旦ApplicationMaster失败，则认为失败，但也可以通过配置多次后才失败
- 一旦ApplicationMaster失败，ResourceManager会启动一个新的ApplicationMaster
- 新的ApplicationMaster负责恢复之前错误的ApplicationMaster的状态(yarn.app.mapreduce.am.job.recovery.enable=true)，这一步是通过将应用运行状态保存到共享的存储上来实现的，ResourceManager不会负责任务状态的保存和恢复
- Client也会定时向ApplicationMaster查询进度和状态，一旦发现其失败，则向ResouceManager询问新的ApplicationMaster
NodeManager失败
- NodeManager定时发送心跳到ResourceManager，如果超过一段时间没有收到心跳消息，ResourceManager就会将其移除
- 任何运行在该NodeManager上的任务和ApplicationMaster都会在其他NodeManager上进行恢复
- 如果某个NodeManager失败的次数太多，ApplicationMaster会将其加入黑名单（ResourceManager没有），任务调度时不在其上运行任务
ResourceManager失败
- 通过checkpoint机制，定时将其状态保存到磁盘，然后失败的时候，重新运行
- 通过zookeeper同步状态和实现透明的HA
可以看出，一般的错误处理都是由当前模块的父模块进行监控（心跳）和恢复。而最顶端的模块则通过定时保存、同步状态和zookeeper来ֹ实现HA
到此这篇关于“Hadoop Failover失败类型和失败处理是什么”的文章就介绍到这了,更多相关内容请搜索群英网络以前的文章或继续浏览下面的相关文章，希望大家以后多多支持群英网络！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。
猜你喜欢
-
Apache Pig的Grunt shell的应用场景和用法是什么
调用Grunt shell后，可以在shell中运行Pig脚本。除此之外，还有由Grunt shell提供的一些有用的shell和实用程序命令。本章讲解的是Grunt shell提供的shell和实用程序命令。注意:在本章的某些部分中，使用了Load和Store等命令。
-
Hadoop写文件的实现过程是什么
Hadoop写文件的实现及要点有哪些？1.客户端将文件写入本地磁盘的 HDFS Client 文件中；2.当临时文件大小达到一个 block 大小时，HDFS client 通知 NameNode，申请写入文件；3.NameNode 在 HDFS 的文件系统中创建一_来自Hadoop 教程，w3cschool编程狮。
-
大数据的关键技术有那一些，你知道几个？
大数据时代，很多朋友对于大数据都比较好奇，因此这篇文章就给大家分享大数据的相关内容。文本主要的介绍的是关于大数据的关键技术，那么大数据的关键技术哪有些呢？接下来一起了解一下。
-
如何将数据加载到Apache Pig中，操作是什么
一般来说，Apache Pig在Hadoop之上工作。它是一种分析工具，用于分析 Hadoop File System中存在的大型数据集。要使用Apache Pig分析数据，我们必须首先将数据加载到Apache Pig中。本章介绍如何从HDFS将数据加载到Apache Pig。
-
Apache Pig架构包括了什么，相关知识有哪些
用于使用Pig分析Hadoop中的数据的语言称为 Pig Latin ，是一种高级数据处理语言，它提供了一组丰富的数据类型和操作符来对数据执行各种操作。要执行特定任务时，程序员使用Pig，需要用Pig Latin语言编写Pig脚本，并使用任何执行机制
推荐内容
相关标签
- Hadoop Failover失败类型和失败处理是什么？有不少朋友对于这个的问题比较感兴趣，下面小编给大家整理和分享了相关知识和资料，易于大家学习和理解，有需要
- React传递参数
- javascript内存管理
- css的空格处理
- linux僵尸进程
- chr()函数
- 源码编译安装LAMP
- scoped属性
- AmazeUI表单提交关闭
- 查询一维数组长度
- folium画地图
- js加载
- Linux系统,keepalive
- SQL Server批处理
- linux创建文件夹
- __str__()方法
- Python字符串转换成列表
- windows服务器安全设置
- Linux怎么运行jar包
- HTML5视频全屏
- MongoDB连接字符串
成为群英会员,开启智能安全云计算之旅
立即注册
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008
