Spark004-rdd分区逻辑_rdd分片逻辑-CSDN博客

网站介绍:文章浏览阅读752次。Infordd是怎么做分区切分的,即怎么把数据存放到各个分区中,直接看代码。Codeimport org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().master("local[1]").getOrCreate()val dataRDD = spark.sparkContext.makeRDD(List(0,1, 2, 3, 4,5,), 4)dataRDD.foreachPartition(part =>_rdd分片逻辑