hadoop 伪分布式环境搭建步骤

学习大数据过程 仅供参考 有问题欢迎指出 勿喷 转载标明出处 

一创建Hadoop用户（root用户权限太大，实验环境可以无视）

    groupadd hadoop    #创建名字为hadoop工作组

    useradd -g hadoop hduser  #创建hduser的用户并添加到hadoop工作组内

     passwd xxxxxx   #添加密码xxxxx 

     使用hduser登录

 二JDK安装配置

    1. 传入jdk  # 使用xftp工具

    2. 解压jdk

        rpm -i jdk_xxxxx

   3. 配置java环境变量

        whereis java #查看jdk安装路径

         结果目录copy

         vi + /etc/profile  #配置环境变量

                      export JAVA_HOME=结果目录

                       PATH=$PATH:$JAVA_HOME/bin

        保存退出

        . /etc/profile (source /etc/profile 同样可以)  #使环境变量生效

 4.测试是否配置ok

       jps

三 免密钥生成（目的：ssh访问不需要密码）

    1. 免密钥生成

         ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

     2. 密钥分发

          自己追加：cat id_dsa.pub >> authorized_keys

四 安装hadoop

     1.解压hadoop压缩包

         tar xf hadoop-2.6.5.tar.gz -C /opt/sxt    #/opt/sxt是自己创建的路径可以自己指定 mkdir /opt/sxt

      2.配置hadoop环境变量

         vi + /etc/profile 

              export HADOOP_HOME=/opt/sxt/hadoop-2.6.5

               PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin      //追加

           保存退出

          . /etc/profile   #使环境变量生效

          3.配置hadoop-env.sh yarn-env.sh mapred-env.sh #修改里面的JAVA_HOME

             找到里面的java_home 直接修改到Java的bin目录   #结果目录

          4.配置hdfs-site.xml core-site.xml  slaves  

            core-site.xml 

                      #默认文件系统 主节点（namenode）

                     <property>
                         <name>fs.defaultFS</name>
                          <value>hdfs://node01:9000<value>
                      </property>

                       #临时目录 指定 防止namenode元数据信息和datenode数据信息 被删除
                      <property>
                         <name>hadoop.tmp.dir</name>
                          <value>/var/sxt/hadoop/local</value>
                      </property>
             hdfs-site.xml   

                     #设置节点数为1

                       <property>
                               <name>dfs.replication</name>
                               <value>1</value>
                       </property>

                       #secondnamenode设定

                      <property>
                          <name>dfs.namenode.secondary.http-address</name>
                          <value>node01:50090</value>
                    </property>

              slaves

                   node01             #从节点设置主机  

        5 格式化namenode

            hdfs namenode -format   

        6 启动

             start-dfs.sh

本地主机启动  浏览器输入 node01:50070 即可打开可视化窗口