SparkSQL数据DataFrame向ElasticSearch写入的优化,亲测提高数倍_修改scala中essparksql源码加快写入-CSDN博客

网站介绍:文章浏览阅读1.9k次。前言最近sparksql写入elasticsearch数据量逐渐增大,所以需要优化写入的速度.先说一下集群情况.es集群:elasticsearch-6.2.4, 机器配置:5台4C*16G阿里云机器.spark: 2.1.3.优化方向从spark参数和es索引两个方向进行优化spark参数es提供了一套完整的hadoop生态支持.可以完整的支持spark读写es.在..._修改scala中essparksql源码加快写入