网友收藏Spark的安装和使用方法_spark的安装与使用-CSDN博客
文章浏览阅读4.2k次。1. 安装Spark2. 在Spark shell中运行代码Spark Shell本身就是一个Driver，Driver包mian()和分布式数据集。启动Spark Shell 命令：./bin/spark-shell --master <master-url>Spark的运行模式取决于传递给SparkContext的Master URL的值，可......
网友收藏阅读全文
网友收藏网友收藏Spark基础随笔：Spark1.6 Idea下远程调试的2种方法_idea和spark不使用spark submit-CSDN博客
文章浏览阅读8.4k次。关于Sc 1.导入依赖的包和源码_idea和spark不使用spark submit...
网友收藏spark之独立部署(StandAlone)搭建_spark使用的方法,这点是standalone模型(独立部署)-CSDN博客
文章浏览阅读501次。spark独立部署模式1.安装2.配置2.1 conf文件的slaves2.2 conf的spark-env.sh2.3 conf的spark-defaults.conf2.4 sbin的spark-config.sh2.5 添加SPARK_HOME和PATH3.启动/停止3.1 启动3.2 停止4.访问1.安装先到官网下载spark：https://mirrors.bfsu.edu.cn/......
网友收藏使用基于Apache Spark的随机森林方法预测贷款风险_基于spark的发放银行贷款的信用风险分析系统的设计与实现-CSDN博客
文章浏览阅读1.2k次。在本文中，我将向大家介绍如何使用Apache Spark的spark.ml库中的随机森林算法来对银行信用贷款的风险做分类预测。Spark的spark.ml库基于DataFrame，它提供了大量的接口，帮助用户创建和调优机器学习工作流。结......
网友收藏大数据之spark_spark的Action算子解析_spark在实例方法中使用action算子报错-CSDN博客
文章浏览阅读310次。所有的Action算子底层都是直接或间接调用了runJob方法触发Action的collect将数据收集到Driver端,并且收集的时候,是按分区编号的顺序进行收集的,所以sort排序后的数据展示出来才能看出是排好序的,collect有一个问......
网友收藏如何使用Spark实现TopN的获取（描述思路或使用伪代码)_使用 groupbykey()方法将转换结构后的数据根据省份进行分组,转化成“(省份id,-CSDN博客
文章浏览阅读435次。方法1：a. 按照 key 对数据进行聚合（groupByKey）b. 将 value 转换为数组，利用 scala 的 sortBy 或者 sortWith 进行排序（mapValues）注意：当数据量太大时，会导致OOM。val rddData1 = sparkSession.parallelize(Array(("sivela",......
网友收藏关于Spark中数据倾斜的几种好的解决方案_当使用spark产生了数据倾斜的情况时,请问有哪些方法可以解决这个问题呢?-CSDN博客
文章浏览阅读273次。前言本文是介绍的是开发spark极其核心的地方，可以说懂得解决spark数据倾斜是区分一个spark工程师是否足够专业的标准，在面试中以及实际开发中，几乎天天面临的都是这个问题。原理以及现象先来解释一下......
