网站介绍：文章浏览阅读202次。一、概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解shuffle的原理，以及相关参数的说明，同时给出各个参数的调_spark面试 shuffle9优化
- 链接地址：https://blog.csdn.net/weixin_42073629/article/details/108923918
- 链接标题：Spark（九）Spark之Shuffle调优_spark面试 shuffle9优化-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：8861
- 网站标签：spark面试 shuffle9优化
