小文件处理

MapReduce框架下，合并小文件通常采用Hadoop的CombineFileInputFormat。该方式可以有效减少Map任务数量，提升处理效率。通过设置合适的块大小和最小分割大小，可以将多个小文件在物理上存储为一个更大的输入分片，从而减少任务启动次数。