Hadoop_HDFS_HBase在centos上部署

在本文中，我们将深入探讨如何在CentOS操作系统上部署Hadoop HDFS和HBase。我们来看一下Hadoop的部署过程。 ### 一、部署Hadoop #### 1. 安装Hadoop 3.1.3 安装Hadoop需要先确保你的系统满足其依赖项，比如Java开发环境（JDK）。在CentOS上，你可以通过执行以下命令安装OpenJDK： ```bash sudo yum install -y java-1.8.0-openjdk-devel ``` 然后，下载Hadoop的tarball文件到你的系统，并解压： ```bash wget https://apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz tar -xvf hadoop-3.1.3.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-3.1.3 /usr/local/hadoop ``` #### 2. Hadoop单机配置（非分布式） 在`/usr/local/hadoop/etc/hadoop`目录下，编辑`hadoop-env.sh`文件，设置JAVA_HOME为你的JDK安装路径。然后，配置`core-site.xml`以指定HDFS的默认文件系统： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` #### 3. Hadoop伪分布式配置 接下来，配置`hdfs-site.xml`以启用伪分布式模式： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/data/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/data/datanode</value> </property> </configuration> ``` 编辑`mapred-site.xml`文件，指定MapReduce框架： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 配置`yarn-site.xml`： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>3600</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> </configuration> ``` #### 4. 运行Hadoop伪分布式实例 启动Hadoop服务，执行以下命令： ```bash sudo -u hdfs hdfs namenode -format start-dfs.sh start-yarn.sh jps # 检查是否所有进程都已启动 ``` ### 二、HBase的安装与运行 #### 1. 安装HBase HBase通常与Hadoop一起使用，因此确保Hadoop已经正确配置。下载HBase的tarball文件并解压： ```bash wget http://apache.mirrors.lucidnetworks.net/hbase/stable/hbase-2.2.9-bin.tar.gz tar -xvf hbase-2.2.9-bin.tar.gz -C /usr/local/ ln -s /usr/local/hbase-2.2.9 /usr/local/hbase ``` #### 2. 创建表 创建一个HBase表： ```bash bin/hbase shell create 'myTable', 'cf' ``` #### 3. 添加数据 向表中插入数据： ```bash put 'myTable', 'row1', 'cf:qualifier', 'value1' ``` #### 4. 删除数据 删除指定行的数据： ```bash delete 'myTable', 'row1', 'cf:qualifier' ``` #### 5. 查看数据 查询表中的数据： ```bash get 'myTable', 'row1' ``` 退出HBase Shell： ```bash exit ``` ### 三、HDFS编程实践 #### 1. 利用Shell命令与HDFS进行交互 可以使用`hadoop fs`命令与HDFS进行交互，例如： ```bash hadoop fs -mkdir /test hadoop fs -put localfile /test hadoop fs -ls /test ``` #### 2. 文件操作 可以执行文件的上传、下载、删除等操作： ```bash hadoop fs -copyFromLocal localfile /test hadoop fs -copyToLocal /test/remotefile localfile hadoop fs -rm /test/remotefile ``` #### 3. 利用Web界面管理HDFS Hadoop提供了一个Web界面用于管理HDFS，可以通过以下URL访问（将`localhost`替换为你的服务器IP）： ``` http://localhost:50070 ``` 在这个界面上，你可以查看HDFS的状态、文件系统树、文件和目录信息等。 总结来说，部署Hadoop HDFS和HBase在CentOS上是一个涉及多个步骤的过程，包括安装、配置和测试。确保每个环节都正确无误，才能实现有效的数据存储和处理。同时，掌握HDFS的基本操作和编程实践对于理解和利用Hadoop生态系统至关重要。