网友收藏 文章浏览阅读668次。1.到官网下载hadoo安装到windows本地地址 https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz2. 解压3. 进行设置环境变量1）新建 HADOOP_HOME D:\Hadoop\hadoop-2.7.3\hadoop-2.7.32） Path中增加 %HADOOP_HOME%\bin 和 %H......
2024-01-23 15:23 阅读
阅读全文 网友收藏 文章浏览阅读194次。1、编辑 spark-env.sh[victor@node1 spark]$ vim conf/spark-env.shHADOOP_CONF_DIR=/opt/module/hadoop-2.8.2/etc/hadoopYARN_CONF_DIR=/opt/module/hadoop-2.8.2/etc/hadoop尖叫提示：让Spark能够发现Hadoop配置文件，不分发，在y..._./spark-shell --master=yarn \ &......
2024-01-24 07:16 阅读
阅读全文 网友收藏 问题背景今天数据库主库异常重启，导致数据丢失，所以在5.5版本(历史遗留问题)的MySQL主库上重新做了一份新的备份，还原到从库(从库是5.7的版本)，还原非常成功，但是在搭建主从关系的时候，发生了如下报错：ERROR 1794 (HY000)......
2023-10-12 13:23 阅读
阅读全文 网友收藏 文章浏览阅读644次。1.弹性分布式数据集RDD1.1.RDD概述1.1.1.什么是RDDRDD（Resilient Distributed DataSet）弹性分布式数据集。是spark中最基本的数据抽象，是一个不可变的、可分区的、可并行计算的集合。Resilient：数据可以选择性的存储......
2024-01-24 08:02 阅读
阅读全文 网友收藏 文章浏览阅读4w次，点赞23次，收藏154次。一、平台环境虚拟机：VMware Workstation Pro 64位操作系统：Ubuntu16.04 64位二、 软件包Jdk-8u171-linux-x64.tar(java version 1.8.0_171)Hadoop 2.9.1.tarScala-2.11.6Spark-2.3.1-bin-hadoop2.7三、Spark分布式集群环境搭建......
2024-01-24 07:01 阅读
阅读全文 网友收藏 文章浏览阅读5.7k次，点赞4次，收藏57次。 在etherlab官网上的ethercat IGH协议最高版本只到1.5.2，并且只支持linux2.x，3.x内核。对于现在普遍的ubuntu 16.4以上以及debian9以上的Linux发行版来说，都是linux4.x内核，网上的朋友如果参照......
2023-11-11 23:18 阅读
阅读全文 网友收藏 文章浏览阅读267次。前期博客Spark On YARN模式这是一种很有前景的部署模式。但限于YARN自身的发展，目前仅支持粗粒度模式(Coarse-grained Mode)。这是由于YARN上的Container资源是不可以动态伸缩的，一旦Container启动之后，可使用的资源......
2024-01-24 07:20 阅读
阅读全文 网友收藏 文章浏览阅读1.4k次。一、Spark不同运行模式首先来看Spark关于Driver和Executor的解释：Driver：运行Application的main()函数并创建SparkContext(应用程序的入口)。驱动程序，负责向ClusterManager提交作业。和集群的executor进行交互 Executor：在wor......
2024-01-24 05:10 阅读
阅读全文 
网友收藏