网站介绍:文章浏览阅读1.5k次,点赞2次,收藏2次。从 Spark 2.0 开始移除了Hash Based Shuffle,想要了解可参考Shuffle 过程,本文将讲解 Sort Based Shuffle。ShuffleMapTask的结果(ShuffleMapStage中FinalRDD的数据)都将写入磁盘,以供后续Stage拉取,即整个Shuffle包括前Stage的Shuffle Write和后S_怎么查看spark的shuffle write
- 链接地址:https://blog.csdn.net/UUfFO/article/details/78493602
- 链接标题:[spark] Shuffle Write解析 (Sort Based Shuffle)_怎么查看spark的shuffle write-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8967
- 网站标签:怎么查看spark的shuffle write