基于SparkStreaming对银行日志处理系列--整体技术框架_spark stream 银行-CSDN博客

网站介绍:文章浏览阅读800次。基于SparkStreaming对银行日志分析,实时技术架构图通过flume实时采集原日志,送到kafka缓存,SparkStreaming准实时从kafka拿数据,经过ETL、聚合计算送到redis,供前端展示,具体技术及代码见后面博客;除了实时部分,还有离线这一块,技术框架如下:前面都一样,只是通过SparkStreaming ETL后,不聚合计算直接插入hbase,供_spark stream 银行