Hadoop Tool接口详解

最新推荐文章于 2023-03-10 20:51:18 发布

说文科技

最新推荐文章于 2023-03-10 20:51:18 发布

阅读量1.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： # Hadoop

喜欢文章？请私信联系作者。

本文链接：https://blog.csdn.net/liu16659/article/details/85169518

Hadoop 专栏收录该内容

52 篇文章

订阅专栏

本文详细介绍了HadoopTool接口的功能和使用方式，包括其作为Map-Reduce工具的标准接口的角色，如何处理命令行参数，以及一个具体的实现案例。通过本文，读者可以深入理解HadoopTool接口在Hadoop生态系统中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

`Hadoop Tool`接口详解

1. 详解

1.1 简介

public interface Tool
extends Configurable

继承自Configurable的接口。

1.2 释义

A tool interface that supports handling of generic command-line options.
Tool, is the standard for any Map-Reduce tool/application. The tool/application should delegate the handling of standard command-line options to ToolRunner.run(Tool, String[]) and only handle its custom arguments.

一个tool 接口用于支持处理普通的命令行参数。
Tool，代表的是任何抽象的Map-Reduce 工具/应用。Tool/application应该代表 ToolRunner.run(Tool,String[]) 标准命令行的处理，以及处理自定义的参数。

Here is how a typical Tool is implemented.

如下是一个典型的Tool实现

         public class MyApp extends Configured implements Tool {
         
           public int run(String[] args) throws Exception {
             // Configuration processed by ToolRunner
             Configuration conf = getConf();
             
             // Create a JobConf using the processed conf
             JobConf job = new JobConf(conf, MyApp.class);
             
             // Process custom command-line options
             Path in = new Path(args[1]);
             Path out = new Path(args[2]);
             
             // Specify various job-specific parameters     
             job.setJobName("my-app");
             job.setInputPath(in);
             job.setOutputPath(out);
             job.setMapperClass(MyMapper.class);
             job.setReducerClass(MyReducer.class);

             // Submit the job, then poll for progress until the job is complete
             RunningJob runningJob = JobClient.runJob(job);
             if (runningJob.isSuccessful()) {
               return 0;
             } else {
               return 1;
             }
           }
           
           public static void main(String[] args) throws Exception {
             // Let ToolRunner handle generic command-line options 
             int res = ToolRunner.run(new Configuration(), new MyApp(), args);
             
             System.exit(res);
           }
         }