flink配置之:standalone配置Hadoop、HDFS、Fs状态后端,Hadoop带kerberos认证_flink需要使用到远程hdfs集群,如何配置-CSDN博客

网站介绍:文章浏览阅读2.7k次,点赞2次,收藏5次。一、背景 最近在尝试使用Flink,由于不太懂,所以找了几台测试机器搭了个集群,准备等熟悉了再用On Yarn,主要是Hadoop现在不是我负责管理,用起来不太方便。 在开发了作业运行起来过后,就出现了一个问题,就是状态后端放在哪里。In Memory可定时不行的,这个时候我已经准备把这个作业用到生产中了,要是作业足够稳定的话。为什么需要用到状态后端内,一个是因为有部分数据加载到DataStream需要较长的时间,而在这个加载的时间中,会导致作业的输出完全是错误的(其实就是有用到两张Fl..._flink需要使用到远程hdfs集群,如何配置