网站介绍：文章浏览阅读4.9k次。小文件在HDFS中 HDFS块大小默认是128m(hadoop2.x默认是128),若是存储了很多这种小文件每个小文件占了一个block而每个block的文件,目录在namenode里以对像(元数据)形式存储,就会造成namenode内存占用严重,同时 阅读小文件通常会导致从一个DataNode到DataNode检索每个小文件检索效率极低在MapReduce中小文件问题一个Map..._hadoop处理大量小文件
- 链接地址：https://blog.csdn.net/qq_40359681/article/details/79293382#comments_9893915
- 链接标题：hadoop面对大量的小文件处理_hadoop处理大量小文件-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：3261
- 网站标签：hadoop处理大量小文件
