Spark调优技术点_spark sql reduce-CSDN博客

网站介绍:文章浏览阅读214次。1 性能调优1.1 分配资源spark‐submit \‐‐master spark://node1:7077 \‐‐class cn.itcast.WordCount \‐‐num‐executors 10 \ # 配置executor的数量‐‐driver‐memory 6g \ # 配置driver的内存(影响不大)‐‐executor‐memory 6g \ # 配置每一个executor的内存大小‐‐executor‐cores 3 \ # 配置每一个executor的cpu个_spark sql reduce