spark RDD-CSDN博客

网站介绍:文章浏览阅读392次。1、RDD特点:val rdd:[Stirng] = sc.textFile("") 1》每个RDD都有一个partition分区列表2》每个RDD上都有一个计算的function,val a = rdd.flatMap(_.split("")),此过程中会将方法应用到rdd上的这个方法(此处是flatMap)以及作为flatmap参数的匿名函数,这些信息,都会保存在rdd这个对象中,