大数据:Spark Storage(一) 集群下的区块管理_spark 大数据 管理-CSDN博客

网站介绍:文章浏览阅读5.9k次。Storage模块在Spark中提及最多的是RDD,而RDD所交互的数据是通过Storage来实现和管理Storage模块整体架构1. 存储层在Spark里,单机storage的管理是通过block来管理的,用每个块的存储可以在内存里或者在磁盘中,在BlockManager里既可以管理内存的存储,同时也管理硬盘的存储,存储的标识是通过块的ID来区分的。_spark 大数据 管理