spark的master、worker、exeuctor容错机制_spark 有一台worker挂了怎么办-CSDN博客

网站介绍:文章浏览阅读562次。我们看下spark是怎么针对master、worker、executor的异常情况做处理的。容错机制-exeuctor退出首先可以假设worker中的executor执行任务时,发送了莫名其妙的异常或者错误,然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是:executor由backend进程包着,如果抛异常,他会感知到,并调用executorRunner.exitStatus(), 通知worker看下通知worker之后发生了什么:worker会通知master,mas_spark 有一台worker挂了怎么办