Spark RDD的持久化(缓存、检查点、广播变量和累加器)_想一想rdd持久化起到的作用是什么?-CSDN博客

网站介绍:文章浏览阅读224次。RDD持久化1:缓存RDD缓存机制缓存数据至内存/磁盘,可大幅度提升Spark应用性能。cache=persist(MEMORY)persist缓存策略:StorageLevelMEMORY_ONLY(默认)MEMORY_AND_DISKDISK_ONLY…缓存应用场景从文件加载数据后,因为重新获取文件成本较高;经过较多的算子变换之后,重新计算成本较高;单个非常消耗资源的算子之后。注意事项cache()或persist()遇到Action_想一想rdd持久化起到的作用是什么?