Spark Streaming 结合kafka流式数据处理代码案例(含精确消费一次结果保存到mysql)_spark 消费多个topic 分别处理-CSDN博客

网站介绍:文章浏览阅读1.7k次。Spark Streaming 结合kafka流式数据处理代码案例1. 背景在当前大数据处理中,根据数据处理类型可以分为离线数据处理和实时数据处理。不过目前主流的实时数据处理spark streaming和flink,其实前者只能算是准实时处理技术在国内,spark streaming做实时数据处理,一般都是结合kafka来进行数据消息缓存框架,包括spark官方案例也着重讲了这一点spark 官方文档 http://spark.apache.org/docs/latest/streaming-k_spark 消费多个topic 分别处理