Spark-master参数及部署方式_spark.master-CSDN博客

网站介绍:文章浏览阅读2.4k次。我们在初始化SparkConf时,或者提交Spark任务时,都会有master参数需要设置,如下:conf = SparkConf().setAppName(appName).setMaster(master)sc = SparkContext(conf=conf)/bin/spark-submit \ --cluster cluster_name \ --master yarn-cluster \ ...但是这个master到底是何含义呢?文档说是_spark.master