网站介绍:文章浏览阅读2.7k次,点赞2次,收藏5次。一、背景 最近在尝试使用Flink,由于不太懂,所以找了几台测试机器搭了个集群,准备等熟悉了再用On Yarn,主要是Hadoop现在不是我负责管理,用起来不太方便。 在开发了作业运行起来过后,就出现了一个问题,就是状态后端放在哪里。In Memory可定时不行的,这个时候我已经准备把这个作业用到生产中了,要是作业足够稳定的话。为什么需要用到状态后端内,一个是因为有部分数据加载到DataStream需要较长的时间,而在这个加载的时间中,会导致作业的输出完全是错误的(其实就是有用到两张Fl..._flink需要使用到远程hdfs集群,如何配置
- 链接地址:https://blog.csdn.net/weixin_42217030/article/details/108854383
- 链接标题:flink配置之:standalone配置Hadoop、HDFS、Fs状态后端,Hadoop带kerberos认证_flink需要使用到远程hdfs集群,如何配置-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:3515
- 网站标签:flink需要使用到远程hdfs集群 如何配置