网站介绍:文章浏览阅读185次。Yarn模式运行机制Yarn Cluster模式--用于生产cluster模式提交任务流程图 Client先向RM(ResourceManager)提交请求,并上传jar到HDFS上 RM在集群中选择一个NM,在其上启动AppMaster,在AppMaster中实例化SparkContext(Driver) AppMaster向RM注册应用程序,注册的目的是申请资源。RM监控App的运行状态直到结束 AppMaster申请到资源后,与NM通信,在Container中启动Executor进程_spark指定yarn生存时间
- 链接地址:https://blog.csdn.net/cp1881304/article/details/115528771
- 链接标题:Spark的Yarn模式运行机制_spark指定yarn生存时间-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:4605
- 网站标签:spark指定yarn生存时间