eclipse配置连接Hadoop

Hadoop集群搭建及配置③ —— 基础环境搭建

Hadoop集群搭建及配置④ —— JDK简介及其安装

Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

Hadoop集群搭建及配置⑦—— Spark&Scala安装配置

Hadoop集群搭建及配置⑧——Hbase的安装配置

eclipse 实现 Hdfs java API

HDFS不仅可以通过Shell操作Hadoop集群中的文件系统，还提供了Java API接口完成相应的功能。

文件资料：

链接：https://pan.baidu.com/s/1WveL4l5Wt8A1XJXX40IZFQ
提取码：xlxq

一、远程开发环境搭建

1.1 解压Hadoop压缩包，配置环境

将hadoop-2.7.3.tar.gz(按照自己在虚拟机安装的版本) 解压到Windows下，在解压过程中可能会有错误提示，这是由于Linux文件格式和Windows不一样造成的，可以忽略。

右击我的电脑–>属性–>高级系统设置里面环境变量要配置三个属性：

（1）添加变量名：HADOOP_HOME； 变量值：hadoop解压后的路径D:\bigdate\hadoop-2.7.3。

（2）path属性里添加一个：%HADOOP_HOME%\bin

(3）添加变量名：HADOOP_USER_NAME 变量值：root

1.2 配置winutils.exe 和 hadoop.dll ；hadoop-eclipse-plugin-2.6.0.jar

1. 将解压出的hadoop.dIIl和winutils.exe两个文件,分别放到 D:\bigdate\hadoop-2.7.3\bin 目录和 C:\Windows\System32 目录。
   
   
   .
2. 把 hadoop-eclipse-plugin-2.6.0.jar 放到 D:\Program Files (x86)\eclipse\dropins 文件夹里
   

1.3 用Eclipse远程连接Hadoop集群

打开eclipse，新建项目Map/Reduce——Hadoop1。


点击 Map/Reduce Locations,然后在其下面空白处右键,选择New Hadoop Location,

将值修改为下图所示，其中：
①Location name: 命名新建的Hadoop连接；

②Map/Reduce(V2) Master:填写Hadoop集群的ResourceManager的IP地址和端口；
通过配置文件yarn-site.xml，属性yarn.resourcemanager.address的值，查看端口号。

③DFS Master：填写Hadoop集群的NameNode的IP地址和端口；
通过配置文件core-site.xml，属性fs.default.name的值，查看端口号。

④User name：用户名
设置完毕后点击finish。

连接Hadoop成功后，左上角DFS刷新一下会显示出HDFS文件系统根目录下的文件。

可以看到文件是一样的！！！

注意 连接Hadoop时，虚拟机的Hadoop集群一定要开启，不然连接不上！！