网站介绍：文章浏览阅读240次。1. 背景最近在业务开发过程中，遇到如下需求：一张Hive表中存储着item id和描述这个id的文本（已经切词，各个词语之间' '分隔）。另外还有一份数据，其中存储了各个词语和该词语对应的embedding vector。现要计算每个id对应文本的词向量表示，即将同一个id对应的文本中所有词语embedding vector求和。2. 问题描述在计算embedding vector求和过程中，出现了OOM问题。//代码1val sql = s"select id, text from tabl_hive spark引擎设置oom
- 链接地址：https://blog.csdn.net/mouliu6141/article/details/108172748
- 链接标题：[Spark] OOM问题及解决方案_hive spark引擎设置oom-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：5405
- 网站标签：hive spark引擎设置oom
