Spark on yarn的client、cluster模式提交job流程及区别_spark client和cluster提交区别-CSDN博客

网站介绍:文章浏览阅读1.3k次,点赞2次,收藏6次。本文描述Spark on yarn的job提交流程1. client模式在YARN Client模式下,Driver在任务提交的本地服务器上运行,流程如下: Driver启动时和ResourceManager通讯,申请启动ApplicationMaster ResourceManager根据资源情况,分配container,在合适的NodeManager上启动ApplicationMaster,此时的ApplicationMaster的功能相当于一个ExecutorLaucher,只_spark client和cluster提交区别