网站介绍：文章浏览阅读2.2k次。广播变量广播变量通常是为了实现mapside join，可以将Driver端的数据广播到属于该application的Executor，然后通过Driver广播变量返回的引用，获取事先广播到Executor的数据广播变量是通过BT的方式广播的（TorrentBroadcast），多个Executor可以相互传递数据，可以提高效率在Driver端使用sc.broadcast这个方法进行广播，并且该方法是阻塞的（同步的）广播变量一但广播出去就不能改变，为了以后可以定期的改变要关联的数据，可以定义一个o_spark 广播httpclient
- 链接地址：https://blog.csdn.net/WuBoooo/article/details/108804110
- 链接标题：大数据之spark_spark的广播变量及ip地址案例分析_spark 广播httpclient-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：6641
- 网站标签：spark 广播httpclient
