网站介绍：文章浏览阅读761次。Shuffle调优一：调节map端缓冲区大小在Spark任务运行过程中，如果shuffle的map端处理的数据量比较大，但是map端缓冲的大小是固定的，可能会出现map端缓冲数据频繁spill溢写到磁盘文件中的情况，使得性能非常低下，通过调节map端缓冲的大小，可以避免频繁的磁盘IO操作，进而提升Spark任务的整体性能。map端缓冲的默认配置是32KB，如果每个task处理640KB的数据，..._spark shffule 调优
- 链接地址：https://blog.csdn.net/u012387141/article/details/105817071
- 链接标题：Spark 性能调优之Shuffle调优_spark shffule 调优-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6367
- 网站标签：spark shffule 调优
