网站介绍：文章浏览阅读789次。Task序列化问题问题现象本质原因1.封装数据的bean没有实现序列化(报错图1)封装数据的bean需要写入本地磁盘和在网络中传输，没有实现序列化出出错2.rdd的算子中传入的函数用到了外部引用类型(闭包)，且没有实现序列化(报错图2)本质原因的Task是在Driver端生成的，函数也是在Driver端定义的，但是真正执行是需要将Task和Task中引用都序列化，如果有没法序列化的，就会出现Task没有序列化异常Task在底层有实现序列化接口的,所以Task可以被传输到Executor端,_spark 序列化java bean
- 链接地址：https://blog.csdn.net/WuBoooo/article/details/108836766
- 链接标题：大数据之spark_spark中的序列化问题详解_spark 序列化java bean-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6134
- 网站标签：spark 序列化java bean
