小小码农

基于hadoop-3.3.2安装hbase-2.4.11，报错：object is not an instance of declaring class安装之前看了hbase官网，hbase-2.4.11和hadoop-3.3.2是不冲突的，适配了，于是选择了这两个版本来进行使用；但是无奈还是碰到了问题，一开始以为是不兼容的问题；后面查了资料；原来是因为hbase和Hadoop有冲突包；question：2022-05-16 21:15:56,450 WARN [RS-EventLoopGrou

sqoop 安装：下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz （非sqoop-1.4.7.tar.gz ）解压修改sqoop-env-template.sh文件名为sqoop-env.sh；并修改一下内容！！[root@leader bin]# echo $HADOOP_HOME/opt/hadoop-3.2.2[root@leader bin]# echo $HBASE_HOME/opt/hbase-2.3.6[root@leader bin]# e

datax数据迁移hdfs到mysql记录：hdfsreaderTomysqlwriter.json[root@slave1 mytemplate]# python /opt/datax/bin/datax.py -r hdfsreader -w mysqlwriter >> hdfsreaderTomysqlwriter.json[root@slave1 mytemplate]# cat hdfsreaderTomysqlwriter.json{ "job": {

本文选取基于前提要装scala。spark-env.sh配置：JAVA_HOME=/opt/jdk1.8.0_161HADOOP_CONF_DIR=/opt/hadoop-3.1.0/etc/hadoopexport YARN_CONF_DIR=HADOOPHOME/etc/hadoopexportHADOOPCONFDIR=HADOOP_HOME/etc/hadoopexport HADOOP_CONF_DIR=HADOOPH​OME/etc/hadoopexportHADOOPC​ONFD​

datax的mysql 到hdfs文件系统上！ 支持高可用mysqlreaderTohdfswriter.json[root@slave1 mytemplate]# python /opt/datax/bin/datax.py -r mysqlreader -w hdfswriter >> mysqlreaderTohdfswriter.json[root@slave1 mytemplate]# cat mysqlreaderTohdfswriter.json{ "job"

fsimage文件与editslog文件存储的路径 查看hdfs-site.xml属性：fsimage、editslog文件存储：（可多目录）dfs.namenode.name.dir/opt/data/nameblk数据块文件：（可多目录） dfs.datanode.data.dir /opt/data/dn1,/opt/data/dn2fsimage和editslog文件存储在dfs.namenode.name.dir的值下面。/opt/data/name/current/