网友收藏 文章浏览阅读3.3k次。VMware workstationCentOS 7完全分布式安装author:zoxiii完全分布式安装1、安装JDK(1)下载JDK(2)传输JDK到虚拟机中(3)删除虚拟机原有的JDK(4)安装配置JDK2、安装Hadoop(1) 下载Hadoop(2)将Hadoop传输到虚拟机中......
2024-01-25 06:52 阅读
阅读全文 网友收藏 文章浏览阅读3k次。概述前几篇博文都在介绍Spark的调度,这篇博文我们从更加宏观的调度看Spark,讲讲Spark的部署模式。Spark部署模式分以下几种:local 模式local-cluster 模式Standalone 模式YARN 模式Mesos 模式我们先来简单介绍下YARN模......
2024-01-24 09:26 阅读
阅读全文 网友收藏 八皇后OS擅长04-电子电路基础知识,51【操作系统】LInux+RTOS+core,50-【编程基础】C-C#-JAVA-MATLAB,等方面的知识,八皇后OS关注面试,数据结构领域....
2023-10-14 07:16 阅读
阅读全文 网友收藏 文章浏览阅读4.2k次。1. 启动任务在前面一篇博客中(http://blog.csdn.net/raintungli/article/details/70168241#t9)介绍了Driver是如何调动、启动任务的,Driver向Executor发送了LaunchTask的消息,Executor接收到了LaunchTask的消息后,进行了任务的启动......
2024-01-24 05:05 阅读
阅读全文 网友收藏 文章浏览阅读170次。 Spark Streaming 是 Spark Core API 的扩展,它支持弹性的,高吞吐的,容错的实时数据流的处理。数据可以通过多种数据源获取,例如 Kafka,Flume,Kinesis 以及 TCP sockets,也可以通过例如 map,reduce,join,window 等......
2024-01-24 07:04 阅读
阅读全文 网友收藏 安装Supervisoryum install python-setuptoolseasy_install supervisor配置Supervisormkdir /etc/supervisormkdir /etc/supervisor初始化一个配置文件echo_supervisord_conf > /etc/supervisor/supervisord.conf修改配置vi /etc/supervisor/supervisord.conf最下边找到如下文本片段;[includ......
2023-10-13 06:57 阅读
阅读全文 网友收藏 文章浏览阅读501次。java.lang.OutOfMemoryError: Java heap space spark sql_com.fasterxml.jackson.core.util.bufferrecycler...
2024-01-23 01:37 阅读
阅读全文 网友收藏 文章浏览阅读958次。一 RDD概念1 RDD为什么会产生2 RDD概述21 什么是RDD22 RDD的属性3 13 RDD弹性4 RDD特点41 分区42 只读43 依赖44 缓存45 checkpoint二 RDD编程1 编程模型2 22 创建RDD一、 RDD概念1.1 RDD为什么会产生RDD是Spark的基......
2024-01-22 16:14 阅读
阅读全文 网友收藏 文章浏览阅读9.1k次,点赞2次,收藏3次。成功解决org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.reflection.ReflectionException: There is no getter for property named ‘ew’ in ‘class com.baomidou.mybatisplus.core.conditions.query.QueryWrapper’......
2023-11-11 17:00 阅读
阅读全文 网友收藏 文章浏览阅读252次。1.实现kryo序列化的目的:为了降低driver端,到executor之间网络传输压力,可以使用spark自带的,kryo序列化方式,而不使用java的序列化,kryo序列化不仅可以节约内存空间,在网络传输上也可以节省网络资源,java的序列方......
2024-01-22 15:52 阅读
阅读全文