spark collect遍历_spark中collect-CSDN博客

网站介绍:文章浏览阅读1.4w次。spark collect操作的特点是从远程集群是拉取数据到本地,经过网络传输,如果数据量的话,会给网络造成很大的压力,和foreach的却别是,foreach是在远程集群上遍历rdd中的元素,如果是在本地的话,差别不大。建议使用foreach,不要用collect. 直接上代码:@SuppressWarnings("unchecked") public static vo_spark中collect