7.Spark历史服务器配置及ha机制_spark.history.retainedapplications-CSDN博客

网站介绍:文章浏览阅读464次。1) 修改spark-defaults.conf.template文件名为spark-defaults.conf2) 修改spark-default.conf文件,配置日志存储路径注意:需要启动hadoop集群,HDFS上的directory目录需要提前存在。3) 修改spark-env.sh文件, 添加日志配置参数1含义:WEB UI访问的端口号为18080参数2含义:指定历史服务器日志存储路径参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应_spark.history.retainedapplications