[spark] Shuffle Write解析 (Sort Based Shuffle)_怎么查看spark的shuffle write-CSDN博客

网站介绍:文章浏览阅读1.5k次,点赞2次,收藏2次。从 Spark 2.0 开始移除了Hash Based Shuffle,想要了解可参考Shuffle 过程,本文将讲解 Sort Based Shuffle。ShuffleMapTask的结果(ShuffleMapStage中FinalRDD的数据)都将写入磁盘,以供后续Stage拉取,即整个Shuffle包括前Stage的Shuffle Write和后S_怎么查看spark的shuffle write