Spark Streaming详解《八》_streamingcontext(sc,1)-CSDN博客

网站介绍:文章浏览阅读1.4w次。一、Spark Steaming概述Spark流是核心Spark API的扩展,支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取,如Kafka、Flume、Kinesis或TCP套接字,并且可以使用复杂的算法进行处理,这些算法用高级函数表示,如map、reduce、join和window。最后,处理后的数据可以推送到文件系统、数据库和活动指示板。事实上,您可以将Spark的机器学习和图形处理算法应用于数据流。二、常用实时流处理框架Storm:真正实时流处理 yoJav..._streamingcontext(sc,1)