小文件

MapReduce处理小文件时，由于频繁的读写操作和任务启动开销，效率较低。优化方法包括：合并小文件、使用CombineFileInputFormat、自定义InputFormat，或者考虑其他框架如Spark处理小文件。

MapReduce合并小文件通常通过自定义的InputFormat类来实现，将多个小文件作为单个分片处理。可以使用CombineFileInputFormat来自动合并多个小文件，或者编写自定义逻辑在Mapper之前合并文件。可以在数据写入时调整参数设置，减少生成的小文件数量。