网站介绍：文章浏览阅读593次。# 文件输出流内存缓冲区大小 默认32k 增加可以可以减少创建shuffle文件时候进行磁盘搜索和系统调用次数，建议64kspark.shuffle.file.buffer shuffle# 拉取的数据量大小 默认48m 增加可以减少reduce拉取数据的次数 建议96mspark.reducer.maxSizeInFilght reducetask ..._spark shuffle参数表
- 链接地址：https://blog.csdn.net/weixin_46845300/article/details/122166495
- 链接标题：Spark shuffle的两个调优参数_spark shuffle参数表-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6696
- 网站标签：spark shuffle参数表
