Spark003-基础概念-CSDN博客

网站介绍:文章浏览阅读723次。Infospark一些基本概念,主要参考尚硅谷-Spark教程从入门到精通,美团《Spark性能优化指南——基础篇》。DriverSpark 驱动器节点,用于执行 Spark 任务中的 main 方法,负责实际代码的执行工作。Driver 在 Spark 作业执行时主要负责:将用户程序转化为作业(job)在 Executor 之间调度任务(task)跟踪 Executor 的执行情况通过 UI 展示查询运行情况python代码在集群执行时,纯python部分主要在driver处执行,p