Spark2.x学习笔记:4、Spark程序架构与运行模式_spark2.x架构设计-CSDN博客

网站介绍:文章浏览阅读2k次。第4章 Spark程序架构与运行模式4.1 Spark程序最简架构所有的Spark程序运行时,主要由两大类组件Driver和Excutor构成。每个Spark程序运行时都有一个Driver,Driver是进程包含了运行所需要的CPU和内存等资源,Driver是我们应用程序main函数所在进程。比如当我们运行一个spark-shell时,就创建了一个driver 程序 。Executor可以有多个_spark2.x架构设计