1. 高可用部署说明SparkStandalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master单点故障的问题。如何解决这个单点故障的问题,Spark提供了两种方案:(1)基于文件系统的单点恢复(Single-NodeReco......
2023-10-10 03:35 阅读 阅读全文文章浏览阅读277次。Spark3.1.2高可用部署文档解压、改名tar -zxvf spark-3.1.2-bin-hadoop2.7.tgz -C /opt/cd /opt/mv spark-3.1.2-bin-hadoop2.7/ sparkcd spark/conf添加Hadoop配置文件的软链接ln -s /opt/hadoop/etc/hadoop/core-site.xmlln -s /opt/hadoop/etc/hadoop/hdfs-site.xml添......
2024-01-24 06:11 阅读 阅读全文