Hudi同步Hive表报“HoodieException : Got runtime exception when hive syncing”错误的解决方法_org.apache.hudi.exception.hoodieexception: got run-CSDN博客

网站介绍:文章浏览阅读3.5k次,点赞3次,收藏5次。1 问题描述闯过第二关之后,普通的元数据同步基本就没什么问题了。但是当遇到下面这种场景时,同步再次“翻了车”:如果在一个SparkSession下,先读取一个Hudi数据集,得到DataFrame,在进行一些数据转换之后将变换后DataFrame再次以Hudi的形式写入另一张表,此时,Hudi会在同步这张新表的元数据时离奇失败。而这类操作其实是最典型不过的ETL操作流程,所以你大概率会遇上这个问题。这一问题并不在配置上,所有配置与前面完全一样,起初在遇到这一问题时,我试过修改各种操作与配置进行验证,可_org.apache.hudi.exception.hoodieexception: got runtime exception when hive s