自行编译spark适配CDH 6.3.2_spark2.4 cdh6.3.2 自行编译-CSDN博客

网站介绍:文章浏览阅读2.9k次,点赞2次,收藏17次。我们用的是CDH 6.3.2,内置的spark版本是2.4.0,有两个问题:cdh6之后就取消了spark-sql客户端hudi 0.9.0 仅支持 spark 2.4.4之后的版本所以就想自己安装个spark使用。1.下载spark 3.1.2 版本源码https://spark.apache.org/downloads.html2.修改pom文件增加cloudera maven仓库<repositories> <repository> <_spark2.4 cdh6.3.2 自行编译