网站介绍：文章浏览阅读1.3k次。背景：java项目中存在excel这样的资源文件，处理方法是将excel通过hadoop fs -copyFromLocal方式上传到hdfs文件系统上。hdfs有两个namenode，所以访问路径需要设置成高可用的路径处理代码：声明spark环境 val sparkConf = new SparkConf() .setAppName("FieldRelativeApplication") .set("spark.serializer", "org.apa_spark.config("fs.defaultfs", "hdfs://ns2")
- 链接地址：https://blog.csdn.net/qq_35235032/article/details/109222246
- 链接标题：spark关于hdfs上配置文件的高可用访问配置_spark.config("fs.defaultfs", "hdfs://ns2")-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：1011
- 网站标签：spark.config("fs.defaultfs" "hdfs://ns2")
