MapReduce调度机制详解
MapReduce是一种用于处理和生成大规模数据集的编程模型，其作业调度机制在确保任务高效执行方面起着关键作用，以下是对MapReduce调度机制的详细解释：
一、MapReduce
MapReduce是Hadoop的核心组件之一，提供了一种分布式计算的方案，适用于大规模数据集的并行处理，它将计算过程分为两个主要阶段：Map阶段和Reduce阶段，每个阶段都以键值对（key/value）作为输入和输出。
二、MapReduce作业调度机制
MapReduce作业调度机制主要包括三种调度器：FIFO调度器、公平调度器和容量调度器。
1、FIFO调度器
描述：FIFO（先入先出）调度器是Hadoop中默认的调度器，它根据作业的优先级高低和到达时间的先后顺序选择被执行的作业。
特点：简单易实现，但可能导致某些长时间运行的作业阻塞其他作业，影响整体性能。
2、公平调度器
描述：公平调度器的目标是让每个用户公平共享集群资源，当只有一个任务在运行时，它将使用整个集群，随着新任务的提交，系统会将TaskTracker节点空间的时间片分配给这些新作业，以确保每个任务获得大概等量的CPU时间。
配置：需要修改配置文件mapred-site.xml，加入相关属性来启用公平调度器，并创建allocations.xml文件来定义资源分配策略。
特点：支持抢占机制，如果某个池在特定时间内未能公平共享资源，会中止运行池中得到过多资源的任务，把空出来的任务槽让给运行资源不足的作业池。
3、容量调度器
描述：容量调度器支持多个队列，每个队列可配置一定的资源量，并采用FIFO调度策略，为了防止同一用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
特点：允许用户或组织为每个用户或组织模拟出一个使用FIFO调度策略的独立MR集群，同时强制每个池内公平共享，使运行的作业共享池的资源。
三、MapReduce任务调度和资源管理
MapReduce任务调度和资源管理的主要目的是解决如何选择合适的节点来执行Task，这涉及到多个角色和步骤：
1、JobClient
接收客户端提交的程序jar包，并进行一系列操作，如获取Block元数据信息并计算切片、生成计算程序未来运行时的相关配置文件、将jar包、job.split、job.xml文件上传到HDFS等。
2、JobTracker
负责接收JobClient分配的作业，将Task分配到各个节点上去运行，并提供监控工作节点状态及任务进度等管理功能。
3、TaskTracker
负责监控任务的执行情况，并通过心跳连接周期性地向JobTracker汇报任务进度、资源使用量等，每台执行任务的节点都会有一个TaskTracker。
4、HDFS
提供数据存储服务和作业间的文件共享。
四、MapReduce作业调度问题与解答
1、问题一：如何设置MapReduce作业的优先级？
解答：可以通过设置mapred.job.priority属性或使用JobClient的setJobPriority()方法来设置作业优先级，在作业调度器选择要运行的下一个作业时，会选择优先级最高的作业，在FIFO调度算法中，优先级不支持抢占，因此高优先级的作业仍可能受阻于此前已经开始的长时间运行的低优先级作业。
2、问题二：公平调度器是如何确保作业公平共享资源的？
解答：公平调度器通过将TaskTracker节点空间的时间片分配给新提交的作业，并确保每个任务获得大概等量的CPU时间来实现资源公平共享，如果某个池在特定时间内未能公平共享资源，公平调度器会中止运行池中得到过多资源的任务，把空出来的任务槽让给运行资源不足的作业池。
以上就是关于“负责mapreduce调度”的问题，朋友们可以点击主页了解更多内容，希望可以够帮助大家!
原创文章，作者：K-seo，如若转载，请注明出处：https://www.kdun.cn/ask/641503.html
微信扫一扫 
