hadoop&hive安装配置

hadoop&hive安装配置 本文将详细介绍hadoop&hive的安装配置过程，包括对hadoop集群的搭建和hive的配置。下面将逐步介绍每个步骤的详细内容。 hadoop集群搭建 在开始安装hadoop之前，我们首先需要准备三台机器，分别作为master、slave1和slave2。master机器将作为namenode，而slave1和slave2将作为datanode。 我们需要在每台机器上配置hosts文件，以便彼此间可以通过主机名进行通信。我们可以使用vi编辑器来编辑hosts文件，并添加以下内容： ``` 10.0.0.200 master 10.0.0.201 slave1 10.0.0.202 slave2 ``` 接下来，我们需要创建一个hadoop用户，并设置密码为111111。 接下来，我们需要生成ssh密钥，以便master和slave机器之间可以进行免密钥登录。我们可以使用ssh-keygen命令来生成密钥，并将其复制到slave机器上。 hadoop配置 在hadoop配置之前，我们需要首先安装JDK，并将其设置为环境变量。我们可以将JDK安装到/usr/local目录下，并将其命名为jdk1.6。然后，我们需要编辑/etc/profile文件，并添加以下内容： ``` export JAVA_HOME=/usr/local/jdk1.6 export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH:$HOME/bin export HADOOP_HOME=/home/hadoop/hadoop-0.19.0 export PATH=$PATH:$HADOOP_HOME/bin ``` 接下来，我们需要下载hadoop-0.19.0.tar.gz文件，并将其上传到master机器的/home/hadoop目录下。然后，我们可以使用tar命令来解压该文件。 ``` tar zxvf hadoop-0.19.0.tar.gz ``` 接下来，我们需要修改四个文件：hadoop-site.xml、hadoop-env.sh、masters和slaves。 在hadoop-site.xml文件中，我们需要添加以下内容： ``` <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:54310/</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://master:54311/</value> </property> ... </configuration> ``` 在hadoop-env.sh文件中，我们需要添加以下内容： ``` export JAVA_HOME=/usr/local/jdk1.6 ``` 在masters文件中，我们需要添加以下内容： ``` master ``` 在slaves文件中，我们需要添加以下内容： ``` slave1 slave2 ``` hive配置 在hadoop集群搭建完成后，我们可以开始配置hive。hive是hadoop集群中的一种数据仓库，可以对hadoop集群中的数据进行查询和分析。 我们需要下载hive的安装包，并将其上传到master机器的/home/hadoop目录下。然后，我们可以使用tar命令来解压该文件。 ``` tar zxvf hive-0.9.0.tar.gz ``` 接下来，我们需要修改hive的配置文件hive-site.xml，并添加以下内容： ``` <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hive.metastore.uris</name> <value>thrift://master:9083</value> </property> <property> <name>hive.exec.scratchdir</name> <value>/tmp/hive-${user.name}</value> </property> ... </configuration> ``` 总结 本文详细介绍了hadoop&hive的安装配置过程，包括对hadoop集群的搭建和hive的配置。通过对hadoop集群的搭建，我们可以将hadoop集群作为数据仓库，对数据进行存储和处理。同时，通过hive的配置，我们可以对hadoop集群中的数据进行查询和分析。