网友收藏Flume采集rsync同步文件,有重复数据,解决方案_rsync -avz 存在同名文件-CSDN博客文章浏览阅读839次。最近线上做测试,因为有服务布在公网云,kafka和hadoop集群布在私有云.所以想采用flume->kafka->flume->hadoop方案,将公有云的服务日志收集到hadoop集群.因为公有云上服务布的节点节点比较多,所以采用rsync方式,...... 2024-01-24 05:53 评论 0 阅读 阅读全文