Spark源码系列(四):Spark不同运行模式_master must either be yarn or start with spark, me-CSDN博客

网站介绍:文章浏览阅读1.4k次。一、Spark不同运行模式首先来看Spark关于Driver和Executor的解释:Driver:运行Application的main()函数并创建SparkContext(应用程序的入口)。驱动程序,负责向ClusterManager提交作业。和集群的executor进行交互 Executor:在worker节点上启动的进程,执行器,在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。Spark支持多种模式,包括l.._master must either be yarn or start with spark, mesos, k8s, or local