Spark Core之RDD持久化机制_spark的持久化和检查点机制-CSDN博客

网站介绍:文章浏览阅读326次。目录一、RDD持久化原理二、RDD缓存 三、RDD持久化策略四、checkpoint检查点机制五、缓存和检查点区别5.1cache和persist⽐较5.3什么时候使⽤cache或checkpoint一、RDD持久化原理Spark非常重要的一个功能特性就是可以将RDD持久化在内存中。当对RDD执行持久化操作时,每个节点都会将自己操作的RDD的partition持久化到内存中,并且在之后对该RDD的反复使用中,直接使用内存缓存的..._spark的持久化和检查点机制