文章浏览阅读179次。前言本文环境基于Hadoop - Yarn平台搭建Yarn的平台环境默认已经搭建完毕前置环境Linux集群 , Java , Zookeeper , Hadoop , Scala , python-pip(pssh)下载Spark安装包官网地址 https://spark.apache.org/downloads.html如果外网下载速度较慢 ......
2024-01-22 16:45 阅读 阅读全文文章浏览阅读269次。1.1 为什么要学Scala语言[1] 1.优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验。Martin OrderSke (scala发人)Epel瑞士科技大学 Javac是Matin编写的 让程序员......
2024-01-23 05:08 阅读 阅读全文文章浏览阅读4.5k次。大数据软件框架之Spark框架:Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduc......
2024-01-22 20:14 阅读 阅读全文文章浏览阅读4.3k次。Spark BroadCastBroadcast 简单来说就是将数据从一个节点复制到其他各个节点,常见用于数据复制到节点本地用于计算,在前面一章中讨论过Storage模块中BlockManager,Block既可以保存在内存中,也可以保存在磁盘中......
2024-01-24 05:05 阅读 阅读全文hyy1568786擅长flink,spark,大数据,等方面的知识,hyy1568786关注hive,storm,spark,hadoop,etl领域....
2023-10-11 14:15 阅读 阅读全文SunnyRivers擅长Spark,Android,大数据,等方面的知识,SunnyRivers关注hive,python,机器学习,spark,数据仓库,大数据领域....
2023-11-13 09:07 阅读 阅读全文Scala的数据结构,Scala的基础语法(超详细版),Scala下载及IDEA安装Scala插件(保姆级教程超详细),scala,intellij-idea,java...
2024-01-21 11:43 阅读 阅读全文文章浏览阅读2.1k次,点赞51次,收藏49次。本文带你了解一下大数据中的Spark的一些基本概念与基本操作_spark操作类型...
2024-01-21 12:52 阅读 阅读全文宝哥大数据擅长spark,python3,算法与数据结构,等方面的知识,宝哥大数据关注flink,机器学习,spark领域....
2023-10-11 21:36 阅读 阅读全文