Flink Forward Asia 2020:超大规模 Flink 调度优化_Matty_Blog的博客-CSDN博客

网站介绍:**作者介绍:**胡伟华/辛朝晖,字节跳动基础架构工程师整理:MWT(Apache Flink China 社区志愿者)**校对:**DJG(Apache Flink China 社区志愿者)**摘要:**本文主要介绍在字节跳动在比较大的规模的 Flink 应用场景下遇到的一些问题,以及在调度层面所做的一些优化。内容主要包括6个方面:相关背景:字节跳动的作业规模,以及在此规模下遇到的问题与挑战;黑名单机制:Flink 层面针对 NodeManager 异常节点所做的优化;启动速度优化:Flin