lizhe10177的专栏

JobQueueJobInProgressListener继承自抽象类JobInprogressListener/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distribut

原文地址http://linglxia.iteye.com/blog/1396630

原文地址：http://blog.csdn.net/xhh198781/article/details/7095842

1 TaskTracker main函数 public static void main(String argv[]) throws Exception { StringUtils.startupShutdownMessage(TaskTracker.class, argv, LOG); if (argv.length != 0) { System.out.pr

1 JobClient.runJob在配置好作业后，我们通过JobClient.runJob(conf)提交作业，从这开始 JobClient jc = new JobClient(job); RunningJob rj = jc.submitJob(job);该方法首先实例化一个JobClient，但后调用submitJob（job）2 submitJob

众所周知，JobTracker节点使用配置的任务调度器TaskScheduler来为某一个具体的TaskTracker节点分配任务，同时这个任务调度器只能决定给该TaskTracker节点分配哪一个Job或者那些Job的任务以及分配多少个任务，但是它却不能决定给当前的TaskTracker节点分配一个Job的具体的哪一个任务。另外，针对一个具体的TaskTracker节点而言，任何一个作业都可以判

从main方法开始跟踪1 mainmain的关键代码有两句，创建了实例并调用offerService方法。JobTracker tracker = startTracker(new JobConf()); tracker.offerService();2  startTrackermain方法中的startTracker调用了它的一个重载函数，该函数的主要代码

在http://blog.csdn.net/lizhe10177/article/details/17763879这篇文章中曾跟踪作业的提交，最终是通过listener.jobAdded(job)将作业提交到listener的初始化队列里 public void jobAdded(JobInProgress job) { synchronized (jobInitQueue) {

main函数JobTracker实现了线程接口，main方法创建一个JobTracker实例并且启动该线程JobConf conf=new JobConf(); // enable the server to track time spent waiting on locks ReflectionUtils.setContentionTracing

注：我们以map任务为例，下面默认的任务都为map任务，任务数量也是map任务数量。其中的主要部分在于assignTasks函数。它的主要功能是：先得到TaskTracker的可用槽数，可用总槽数减去已用槽数，然后不断从JobTracker的待调度的作业中选择优先级别最高的作业来调度。当然这仅仅是我们的设想，而在JobQueueTaskScheduler的assignTasks函数实现中，有几

1 Configuration概况Configuration是Hadoop中与配置文件打交道的类，他也是JobConfiguration的父类。配置文件一般是内容为一系列xml数据格式的键值对。配置文件可以由一个字符串指定，也可以由一个Path实例指定。Hadoop默认情况下会加载两个配置文件，core-default.xml和core-site.xml，用户可以为程序加载额外的配置文件。

2、MapReduce的调度过程MapReduce的调度可以分为两个部分：一是初始化部分，二是任务调度过程。下面结合上图来阐述这两个过程：初始化部分1.Masterreceives submitted tasks, and initializes it as map and reduce tasks;2. After initialization, put the

上一篇文章介绍了，hadoop的调度主要分为两部分：1)初始化部分2）任务调度部分，本文章主要介绍这部分的内容。任务调度阶段 任务调度阶段这部分主要通过心跳机制实现的。具体分为以下一些步骤：TaskTracker通过RPC调用向JobTracker发送Heartbeat，在发送心跳的时候，一般会传送TaskTracker节点上的资源的信息，比方说CPU usage、Di

篇博文对Hadoop的作业调度器进行了介绍，我们知道，JobTracker和TaskTracker是Hadoop作业调度过程中最核心的两个部分，前者负责map/reduce作业的调度与分派，后者负责map/reduce作业的实际执行，它们之间通过RPC机制进行通讯。下面将对Hadoop 0.20.2版本中作业调度相关源码进行分析，至于JobTracker和TaskTracker中与作业调度无关