整理对Spark SQL的理解_star expansion expression references column-CSDN博客

网站介绍:文章浏览阅读2.7w次,点赞6次,收藏24次。Catalyst定位其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询,需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。对应上图中,主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程,物理执行计划基于成本的优化模型,具体物理算子的执行都由系统自己实现。 Catalyst现状在解析器方面提供的是一个简单的scala_star expansion expression references column