日志信息收集框架--FLUME基本使用_flume收集日志架构-CSDN博客

网站介绍:文章浏览阅读854次。FLUME的产生背景对于关系型数据库和HDFS,Hive,等的数据,我们可以使用sqoop将数据进行导入导出操作,但对于一些日志信息(源端)的定时收集,这种方式显然不能给予满足,这时有人会想到使用shell脚本的定时作业调度将日志收集出来,但是这种方式在处理大的数据和可靠性方面也显现出很多缺点,再比如日志信息的存储与压缩格式,任务的监控,这些显然也不能满足。基于以上,FLUME这个分布式,..._flume收集日志架构