Spark知识点总结_spark集群主要有那些节点, 各有什么作用?-CSDN博客

网站介绍:文章浏览阅读526次。一、架构图从物理部署层面上来看,Spark主要分为两种类型的节点,Master节点和Worker节点,Master节点主要运行集群管理器的中心化部分,所承载的作用是分配Application到Worker节点,维护Worker节点,Driver,Application的状态。Worker节点负责具体的业务运行。二、Spark CoreRDD概念RDD(Resilient Distributed Dataset)叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可_spark集群主要有那些节点, 各有什么作用?