网站介绍:文章浏览阅读981次。spark需要设置参数1、spark-env.sh 根据集群设置export SPARK_HOME=/export/servers/spark-2.2.0-bin-hadoop2.7export JAVA_HOME=/export/servers/jdk1.8.0_141export HADOOP_CONF_DIR=/export/servers/hadoop-2.7.5/etc/hadoop2、slaves 根据集群设置node01node02node03yarn cluster 模_pyspark.session设置yarn
- 链接地址:https://blog.csdn.net/youmianzhou/article/details/108270863
- 链接标题:spark中用yarn client和yarn cluster两种模式提交任务_pyspark.session设置yarn-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:1769
- 网站标签:pyspark.session设置yarn