idea中编写spark程序并打包到集群执行_spark如何将idea中写的程序放到集群中执行-CSDN博客

网站介绍:文章浏览阅读1.9k次。本篇主要介绍了如何使用IDEA在本地打包Spark应用程序(以K-Means为例),并提交到集群执行。1、 安装JDK与Scala SDKJDK和Scala SDK的安装在这里不再赘述,需要注意的是:要设置好环境变量,这样新建项目时就能自动检测到对应的版本,同时版本最好不要太高,以避免版本不兼容的问题,本篇采用的是JDK 8.0与Scala 2.10.6。JDK下载地址:http://www.oracle.com/technetwork/java/javase/downloads/Scala下载_spark如何将idea中写的程序放到集群中执行