网站介绍:文章浏览阅读1.4w次。一、Spark Steaming概述Spark流是核心Spark API的扩展,支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取,如Kafka、Flume、Kinesis或TCP套接字,并且可以使用复杂的算法进行处理,这些算法用高级函数表示,如map、reduce、join和window。最后,处理后的数据可以推送到文件系统、数据库和活动指示板。事实上,您可以将Spark的机器学习和图形处理算法应用于数据流。二、常用实时流处理框架Storm:真正实时流处理 yoJav..._streamingcontext(sc,1)
- 链接地址:https://blog.csdn.net/wywinstonwy/article/details/106372084
- 链接标题:Spark Streaming详解《八》_streamingcontext(sc,1)-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:8357
- 网站标签:streamingcontext(sc 1)