Spark的Yarn模式运行机制_spark指定yarn生存时间-CSDN博客

网站介绍:文章浏览阅读185次。Yarn模式运行机制Yarn Cluster模式--用于生产cluster模式提交任务流程图 Client先向RM(ResourceManager)提交请求,并上传jar到HDFS上 RM在集群中选择一个NM,在其上启动AppMaster,在AppMaster中实例化SparkContext(Driver) AppMaster向RM注册应用程序,注册的目的是申请资源。RM监控App的运行状态直到结束 AppMaster申请到资源后,与NM通信,在Container中启动Executor进程_spark指定yarn生存时间