大数据:Spark Shuffle(一)ShuffleWrite:Executor如何将Shuffle的结果进行归并写到数据文件中去_spark shuffle write-CSDN博客网友收藏

大数据:Spark Shuffle(一)ShuffleWrite:Executor如何将Shuffle的结果进行归并写到数据文件中去_spark shuffle write-CSDN博客

文章浏览阅读7.3k次,点赞2次,收藏7次。1. 前序关于Executor如何运行算子,请参考前面博文:大数据:Spark Core(四)用LogQuery的例子来说明Executor是如何运算RDD的算子,当Executor进行reduce运算的时候,生成运算结果的临时Shuffle,......
阅读全文
Zookeeper源代码解析-Leader节点的选举过程_. exception reading or writing challenge /10.100.2_恐龙弟旺仔的博客-CSDN博客网友收藏

Zookeeper源代码解析-Leader节点的选举过程_. exception reading or writing challenge /10.100.2_恐龙弟旺仔的博客-CSDN博客

前言:上文分析了Zookeeper集群模式下启动的主要过程,其中有一个重要的点就是Leader节点的选举。由于Zookeeper中所有的事务类型请求都交由Leader节点来执行,所以Leader的选举是非常重要的,本文就来看下Leader选举的时机和执行过......
阅读全文