大文件切分小文件_怎么把文件切成多份 hive-CSDN博客

网站介绍:文章浏览阅读2k次。用户日志数量:5千万,用户数目5000需求:按照用户id将文件拆分成5000个小文件,文件已用户id作为文件名称scala代码如下:可以快速得出结果package cn.cslc.sdwd.log_AH import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat import org.apache.log4j.{Level..._怎么把文件切成多份 hive