网站介绍:文章浏览阅读4.3k次。1. 前言在博客里介绍了ShuffleWrite关于shuffleMapTask如何运行,输出Shuffle结果到文件Shuffle_shuffleId_mapId_reduceId.data文件中,每个executor需要向Driver汇报当前节点的Shuffle结果状态,Driver保存结果信息进行下个Task的调度。2. StatusUpdate消息当Executor运行完Task的时候需要_spark 计算结果从executor传回 driver
- 链接地址:https://raintung.blog.csdn.net/article/details/71081359
- 链接标题:大数据:Spark Shuffle(二)Executor、Driver之间Shuffle结果消息传递、追踪_spark 计算结果从executor传回 driver-CSDN博客
- 所属网站:raintung.blog.csdn.net
- 被收藏次数:3957
- 网站标签:spark 计算结果从executor传回 driver