第000讲-Spark内核解密:Spark到底解决了什么根本性的技术问题?_spark解决了什么问题-CSDN博客

网站介绍:文章浏览阅读1.1k次。1.Spark产生的具体技术环境 在spark出现之前,hadoop的迅速发展,hadoop分布式集群,把编程简化为自动提供 位置感知性调度,容错,以及负载均衡的一种模式,用户就可以在普通的PC机上运行超大集群运算,hadoop有一个非常大的问题:hadoop是基于流处理的,hadoop会从(物理存储)hdfs中加载数据,然后处理之后再返回给物理存储hdfs中,这样不断的读取与写入,占用了大量_spark解决了什么问题