网站介绍:文章浏览阅读1.1k次。1.Spark产生的具体技术环境 在spark出现之前,hadoop的迅速发展,hadoop分布式集群,把编程简化为自动提供 位置感知性调度,容错,以及负载均衡的一种模式,用户就可以在普通的PC机上运行超大集群运算,hadoop有一个非常大的问题:hadoop是基于流处理的,hadoop会从(物理存储)hdfs中加载数据,然后处理之后再返回给物理存储hdfs中,这样不断的读取与写入,占用了大量_spark解决了什么问题
- 链接地址:https://blog.csdn.net/zisheng_wang_DATA/article/details/50555860
- 链接标题:第000讲-Spark内核解密:Spark到底解决了什么根本性的技术问题?_spark解决了什么问题-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:2738
- 网站标签:spark解决了什么问题