网站介绍:文章浏览阅读423次。dataDF.rdd.groupBy(row => row.getAs[Long]("the_key")) .repartition(2000).flatMap(pair => {
- 链接地址:https://guotong1988.blog.csdn.net/article/details/126538312
- 链接标题:Spark,groupby之后加上repartition可以显著加快速度-CSDN博客
- 所属网站:guotong1988.blog.csdn.net
- 被收藏次数:2685
- 网站标签:Spark,groupby之后加上repartition可以显著加快速度