网站介绍：文章浏览阅读185次。数据倾斜是指我们在并行进行数据处理的时候，由于数据散列引起Spark的单个Partition的分布不均，导致大量的数据集中分布到一台或者几台计算节点上，导致处理速度远低于平均计算速度，从而拖延导致整个计算过程过慢，影响整个计算性能。数据倾斜带来的问题单个或者多个Task长尾执行，拖延整个任务运行时间，导致整体耗时过大。单个Task处理数据过多，很容易导致OOM。数据倾斜的产生原因数据倾斜一般是发生..._大表打散小表扩容
- 链接地址：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/126457744
- 链接标题：Spark处理数据倾斜过程记录-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：5599
- 网站标签：大表打散小表扩容
