HBASE集群迁移

最新推荐文章于 2024-06-12 10:51:15 发布

原创

最新推荐文章于 2024-06-12 10:51:15 发布 · 375 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hbase

本文详细介绍了如何在两台虚拟机上搭建Hadoop和HBase的伪分布式环境，包括Java、Hadoop和HBase的安装配置，以及遇到的SLF4J冲突和HMaster无法启动等问题的解决方法。此外，还演示了HBase表的创建、数据插入、查询以及数据迁移的步骤，探讨了不同数据备份和恢复方案的优缺点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.测试
搭建测试环境 2个hbase
资源：2台虚拟机搭建伪分布式环境
步骤：
1.免密登录
ssh-keygen 回车
cd ~/.ssh/
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
此时可以免密登录localhost
2.安装java

tar zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_161/ /usr/local/java/

vim /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_171
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

3.安装hadoop
tar zxf hadoop-2.9.0.tar.gz
[root@master1 /data/hbase/hadoop-2.9.0/etc/hadoop]# vim hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.8.0_171
[root@master1 /data/hbase/hadoop-2.9.0/etc/hadoop]# vim hdfs-site.xml
dfs.replication 存储副本的数量，由于是测试 datanode只有这一个节点只设置为1
dfs.namenode.name.dir namenode相关信息的存储路径
dfs.datanode.data.dir datanode存储的相关路径以上两个目录需要手动创建

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/hbase/hadoop_data/dfs/name</value>
    </property>

    <property>
        <name>dfs.datanode.name.dir</name>
        <value>file:/data/hbase/hadoop_data/dfs/name</value>
    </property>

</config