记一次生产环境Hbase填坑之路、Hbase客户端登陆、kerberos认证、端口列表、Pod上手撕代码【Hbase最佳实践】

原创 已于 2025-08-24 22:04:33 修改 · 835 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #Hbase客户端 #HbaseKerberos认证 #Hbase端口清单 #Pod上手撕Hbase客户端 #Pod上编译Java类带jar #Hbase性能优化

于 2025-08-24 21:54:08 首次发布

背景

1、软件系统（转储系统）需要向生产环境迁移：迁到国产操作系统、国产资源池（Hbase存储不变）

2、老环境上的转储系统本身存在写入hbase的性能问题、及部分省份写入hbase失败的问题（20%失败）

3、全国31个省写入数据量大

4、向国产环境迁移没有成功，该工程（6年前的工程）作者之前从来没有参与过

5、新的环境迁移涉及主机端口开通、及网络端口打通等诸多事项

环境

 1、Oracle JDK8u202(Oracle JDK8最后一个非商业版本)   下载地址：Oracle JDK8u202

 2、Hbase 1.1.2.2.5  Apache HBase – Apache HBase Downloads（多年前的项目，所以其版本较旧， 该版本已归档：   Index of /dist/hbase ）

 3、Hadoop 2.7.1.2.5  Apache Hadoop （该版本已归档： Central Repository: org/apache/hadoop/hadoop-common/2.7.1）

 4、Kerberos 1.10.3-10   MIT Kerberos Consortium  （该版本已归档：Historic MIT Kerberos Releases）

Hbase测试代码

话不多说，先看代码作者在POD上手撕的测试代码，这是指登陆代码（因为只要登陆成功就能解决所有问题）：

主类

package com.asiainfo.crm.ai;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.security.UserProvider;
import org.apache.hadoop.hbase.shaded.com.google.common.base.Preconditions;
import org.apache.hadoop.hbase.util.Strings;
import org.apache.hadoop.net.DNS;

/**
 *  export LIB_HOME=/app/tomcat/webapps/ROOT/WEB-INF/lib/
    javac -d ../classes -cp $LIB_HOME\*:. Transfer2Application.java
    java -cp $LIB_HOME\*:. Transfer2Application
 */
public class Transfer2Application
{

    public static void main(String[] args)
    {
        try {
            System.out.println("##################  hello world! 1 ");

            //初始化Hbase信息
            initHbase();

        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 系统启动时初始化Hbase连接信息，包括kerberos认证
     *
     * @throws Exception
     */
    private static void initHbase() throws Exception
    {

        System.out.println("##################  hello world! initHbase  ");

        System.getProperties().setProperty("hadoop.home.dir", "/app/tomcat/temp/hbase");
        System.setProperty("java.security.krb5.conf", "/app/tomcat/krb5.conf");

        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.keytab.file", "/app/tomcat/gz**.app.keytab");
        conf.set("hbase.kerberos.principal", "gz***/gz**-***.dcs.com@DCS.COM");
        UserProvider userProvider = UserProvider.instantiate(conf);
        // login the server principal (if using secure Hadoop)
        if (userProvider.isHadoopSecurityEnabled() && userProvider.isHBaseSecurityEnabled())
        {

            String machineName = Strings.domainNamePointerToHostName(
                    DNS.getDefaultHost(conf.get( "hbase.rest.dns.interface", "default"),
                            conf.get( "hbase.rest.dns.nameserver", "default")));

            String keytabFilename = conf.get( "hbase.keytab.file" );
            Preconditions.checkArgument(keytabFilename != null && !keytabFilename.isEmpty(),
                    "hbase.keytab.file"+ " should be set if security is enabled");

            String principalConfig = conf.get( "hbase.kerberos.principal" );
            Preconditions.checkArgument(principalConfig != null && !principalConfig.isEmpty(),
                    "hbase.kerberos.principal" + " should be set if security is enabled");

            userProvider.login( "hbase.keytab.file" , "hbase.kerberos.principal", machineName);
            System.out.println("########## login success! #######");
        }else{
            System.out.println("不具备登陆条件！");
            System.out.println("userProvider.isHadoopSecurityEnabled() ："+userProvider.isHadoopSecurityEnabled() );
            System.out.println("userProvider.isHBaseSecurityEnabled()："+userProvider.isHBaseSecurityEnabled());
        }
    }
}

POD上手撕代码的几条重要命令

# 应用pod上 lib目录路径，用于设置java classpath
export LIB_HOME=/app/tomcat/webapps/ROOT/WEB-INF/lib/
# 进入src目录并创建主类源文件
cd src
# 编译主类，并将lib目录下所有jar加入到classpath中
javac -d ../classes -cp $LIB_HOME\*:. Transfer2Application.java
# 进入classes目录
cd ../classes
# 运行二进制文件
java -cp $LIB_HOME\*:. Transfer2Application

运行成功效果日志(基于shell)

##################  hello world! 1 
##################  hello world! initHbase  
14:23:01.194 [main] DEBUG org.apache.hadoop.util.Shell - setsid exited with exit code 0
14:23:01.207 [main] DEBUG org.apache.hadoop.security.Groups -  Creating new Groups object
14:23:01.234 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
14:23:01.235 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
14:23:01.235 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
14:23:01.235 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14:23:01.235 [main] DEBUG org.apache.hadoop.util.PerformanceAdvisory - Falling back to shell based
14:23:01.235 [main] DEBUG org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback - Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
14:23:01.285 [main] DEBUG org.apache.hadoop.security.Groups - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000; warningDeltaMs=5000
14:23:01.338 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])
14:23:01.345 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginFailure with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of failed kerberos logins and latency (milliseconds)])
14:23:01.345 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.getGroups with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[GetGroups])
14:23:01.346 [main] DEBUG org.apache.hadoop.metrics2.impl.MetricsSystemImpl - UgiMetrics, User and group related metrics
14:23:01.556 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - hadoop login
14:23:01.557 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - hadoop login commit
14:23:01.558 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - using kerberos user:gz***/gz***-ctdfs01.dcs.com@DCS.COM
14:23:01.558 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - Using user: "gz***/gz***-ctdfs01.dcs.com@DCS.COM" with name gz***/gz***-ctdfs01.dcs.com@DCS.COM
14:23:01.558 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - User entry: "gz***/gz***-ctdfs01.dcs.com@DCS.COM"
14:23:01.558 [main] INFO org.apache.hadoop.security.UserGroupInformation - Login successful for user gz***/gz***-ctdfs01.dcs.com@DCS.COM using keytab file /app/tomcat/gz***.app.keytab
########## login success! #######

运行成功效果日志（基于动态库）

sh-4.2# java -cp $LIB_HOME\*:. Transfer2Application
##################  hello world! 1 
##################  hello world! initHbase  
17:46:05.469 [main] DEBUG org.apache.hadoop.util.Shell - setsid exited with exit code 0
17:46:05.481 [main] DEBUG org.apache.hadoop.security.Groups -  Creating new Groups object
17:46:05.504 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
17:46:05.504 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Loaded the native-hadoop library
17:46:05.504 [main] DEBUG org.apache.hadoop.security.JniBasedUnixGroupsMapping - Using JniBasedUnixGroupsMapping for Group resolution
17:46:05.505 [main] DEBUG org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMapping
17:46:05.553 [main] DEBUG org.apache.hadoop.security.Groups - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000; warningDeltaMs=5000
17:46:05.604 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])
17:46:05.611 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginFailure with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of failed kerberos logins and latency (milliseconds)])
17:46:05.611 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.getGroups with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[GetGroups])
17:46:05.612 [main] DEBUG org.apache.hadoop.metrics2.impl.MetricsSystemImpl - UgiMetrics, User and group related metrics
17:46:05.818 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - hadoop login
17:46:05.819 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - hadoop login commit
17:46:05.820 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - using kerberos user:gzcrm/gzcrm-ctdfs01.dcs.com@DCS.COM
17:46:05.820 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - Using user: "gzcrm/gzcrm-ctdfs01.dcs.com@DCS.COM" with name gzcrm/gzcrm-ctdfs01.dcs.com@DCS.COM
17:46:05.820 [main] DEBUG org.apache.hadoop.security.UserGroupInformation - User entry: "gzcrm/gzcrm-ctdfs01.dcs.com@DCS.COM"
17:46:05.821 [main] INFO org.apache.hadoop.security.UserGroupInformation - Login successful for user gzcrm/gzcrm-ctdfs01.dcs.com@DCS.COM using keytab file /app/tomcat/gzcrm.app.keytab
########## login success! #######

说明：

    基于动态库的方式操作hbase会得到更好的性能效果。

常见问题（FAQ）：

Q1:运行时报 Kerberos krb5 configuration not found


18:39:46.030 [main] DEBUG org.apache.hadoop.util.Shell - setsid exited with exit code 0
18:39:46.041 [main] DEBUG org.apache.hadoop.security.Groups -  Creating new Groups object
18:39:46.058 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
18:39:46.059 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
18:39:46.059 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
18:39:46.059 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18:39:46.059 [main] DEBUG org.apache.hadoop.util.PerformanceAdvisory - Falling back to shell based
18:39:46.059 [main] DEBUG org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback - Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
18:39:46.113 [main] DEBUG org.apache.hadoop.security.Groups - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000; warningDeltaMs=5000
18:39:46.166 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])
18:39:46.172 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginFailure with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of failed kerberos logins and latency (milliseconds)])
18:39:46.172 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.getGroups with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[GetGroups])
18:39:46.173 [main] DEBUG org.apache.hadoop.metrics2.impl.MetricsSystemImpl - UgiMetrics, User and group related metrics
18:39:46.219 [main] DEBUG org.apache.hadoop.security.authentication.util.KerberosName - Kerberos krb5 configuration not found, setting default realm to empty
java.lang.IllegalArgumentException: Can't get Kerberos realm
        at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerberosName.java:65)
        at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:277)
        at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:262)
        at org.apache.hadoop.security.UserGroupInformation.isAuthenticationMethodEnabled(UserGroupInformation.java:339)
        at org.apache.hadoop.security.UserGroupInformation.isSecurityEnabled(UserGroupInformation.java:333)
        at org.apache.hadoop.hbase.security.User$SecureHadoopUser.isSecurityEnabled(User.java:428)
        at org.apache.hadoop.hbase.security.User.isSecurityEnabled(User.java:268)
        at org.apache.hadoop.hbase.security.UserProvider.isHadoopSecurityEnabled(UserProvider.java:159)
        at Transfer2Application.initHbase(Transfer2Application.java:44)
        at Transfer2Application.main(Transfer2Application.java:22)
Caused by: java.lang.reflect.InvocationTargetException
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.apache.hadoop.security.authentication.util.KerberosUtil.getDefaultRealm(KerberosUtil.java:84)
        at org.apache.hadoop.security.HadoopKerberosName.setConfiguration(HadoopKerberosName.java:63)
        ... 9 more
Caused by: KrbException: Cannot locate default realm
        at sun.security.krb5.Config.getDefaultRealm(Config.java:1029)
        ... 15 more

Q2:运行时报hbase.keytab.file should be set if security is enabled

18:41:21.911 [main] DEBUG org.apache.hadoop.util.Shell - setsid exited with exit code 0
18:41:21.922 [main] DEBUG org.apache.hadoop.security.Groups -  Creating new Groups object
18:41:21.945 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
18:41:21.945 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
18:41:21.945 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
18:41:21.946 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18:41:21.946 [main] DEBUG org.apache.hadoop.util.PerformanceAdvisory - Falling back to shell based
18:41:21.946 [main] DEBUG org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback - Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
18:41:21.995 [main] DEBUG org.apache.hadoop.security.Groups - Group mapping impl=org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback; cacheTimeout=300000; warningDeltaMs=5000
18:41:22.046 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)])
18:41:22.052 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginFailure with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[Rate of failed kerberos logins and latency (milliseconds)])
18:41:22.053 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.getGroups with annotation @org.apache.hadoop.metrics2.annotation.Metric(always=false, about=, sampleName=Ops, type=DEFAULT, valueName=Time, value=[GetGroups])
18:41:22.053 [main] DEBUG org.apache.hadoop.metrics2.impl.MetricsSystemImpl - UgiMetrics, User and group related metrics
java.lang.IllegalArgumentException: hbase.keytab.file should be set if security is enabled
        at org.apache.hadoop.hbase.shaded.com.google.common.base.Preconditions.checkArgument(Preconditions.java:92)
        at Transfer2Application.initHbase(Transfer2Application.java:53)
        at Transfer2Application.main(Transfer2Application.java:22):22)

A：没有正确设置hbase.keytab.file

conf.set("hbase.keytab.file", "/app/tomcat/gzcrm.app.keytab");

Q3:运行时报Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path

18:39:46.041 [main] DEBUG org.apache.hadoop.security.Groups -  Creating new Groups object
18:39:46.058 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Trying to load the custom-built native-hadoop library...
18:39:46.059 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
18:39:46.059 [main] DEBUG org.apache.hadoop.util.NativeCodeLoader - java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
18:39:46.059 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18:39:46.059 [main] DEBUG org.apache.hadoop.util.PerformanceAdvisory - Falling back to shell based

A：没有成功加载hadoop动态库。从官方下载动态库并拷贝到动态库路径中即可。官方动态库下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

动态库文件路径：hadoop-2.7.1/lib/native

把这个目录所有文件拷贝到：/usr/lib 目录下 ，其为日志中提示的java.library.path的目录之一
注意：

     默认拷贝到lib下的文件不包含可直接使用的动态库（不会被加载），原因是默认是的文件链接，拷贝进去就丢失了。需要重新创建文件链接、或做二次拷贝、或是重命名

sh-4.2# ls -lh /usr/lib|grep hadoop
-rwxrwxrwx 1 root root 1.4M Aug 24 14:22 libhadoop.a
-rwxrwxrwx 1 root root 1.6M Aug 24 14:22 libhadooppipes.a
-rwxrwxrwx 1 root root 790K Aug 24 14:22 libhadoop.so.1.0.0
-rwxrwxrwx 1 root root 466K Aug 24 14:22 libhadooputils.a
sh-4.2# 
sh-4.2# 
sh-4.2# cd /usr/lib
sh-4.2# cp libhadoop.so.1.0.0 libhadoop.so
sh-4.2# cp libhdfs.so.0.0.0 libhdfs.so
sh-4.2# 
sh-4.2# ls -lh /usr/lib|grep hadoop
-rwxrwxrwx 1 root root 1.4M Aug 24 14:22 libhadoop.a
-rwxrwxrwx 1 root root 1.6M Aug 24 14:22 libhadooppipes.a
-rwxr-xr-x 1 root root 790K Aug 24 17:44 libhadoop.so
-rwxrwxrwx 1 root root 790K Aug 24 14:22 libhadoop.so.1.0.0
-rwxrwxrwx 1 root root 466K Aug 24 14:22 libhadooputils.a
sh-4.2# 
sh-4.2# 
sh-4.2# ls -lh /usr/lib|grep hdfs
-rwxrwxrwx 1 root root 437K Aug 24 14:22 libhdfs.a
-rwxr-xr-x 1 root root 276K Aug 24 17:45 libhdfs.so
-rwxrwxrwx 1 root root 276K Aug 24 14:22 libhdfs.so.0.0.0

本地查看：

hadoop-2.7.1

hadoop-2.10.2

Q4:运行时报各种网络不通，包括不能访问kerberos服务

A：打通网络端口，开通hbase服务端主机端口，清单如下（实际大家的端口号可能不一致，但都有）：

端口号客户端是否必需打通该端口端口说明
8090资源管理页面端口
50470https节点访问端口
8485√共享目录端口
8020√rpc端口
50070√节点http访问端口（需要打通）
2181√zookeeper服务端口（需要打通）
8088√RM资源管理器http端口
16000√master服务端口
3888√主zookeeper端口
16010√master 信息端口
13562√mapreduce分片服务端口
2049nfs文件系统访问端口
16100多播端口
8080√服务rest端口
16020√RS区域服务端口
21ftp端口
4242nfs挂载端口
88√KDC通信端口
80√Kerberos服务端口
749√这是一个可选的端口，主要用于Kerberos的TCP服
800这些端口用于Kerberos的KDC之间的通信，特别是在设置了跨多个KDC的环境时
801这些端口用于Kerberos的KDC之间的通信，特别是在设置了跨多个KDC的环境时
464√这是Kpasswd服务的端口，用于更改Kerberos用户的密码。
750一些实现可能使用这个端口来支持Kpasswd服务的额外功能。
636如果Kerberos配置为使用LDAP over SSL（LDAPS），则LDAPS服务通常运行在这个端口上。虽然这不是Kerberos原生的一部分，但它常被用于管理Kerberos用户账户和策略。
9090Thrift接口端口，支持非Java客户端访问HBase
60020RegionServer工作节点端口，处理客户端读写请求
2888集群内机器通讯使用，Leader监听此端口

附件一：批量验证网络端口连通性的脚本

Linux shell 批量验证网络主机端口连通性_linux shell批量测试ip连通性-CSDN博客

HBase权限控制：Kerberos集成与安全配置
大数据洞察的博客
05-20 755
本文旨在为大数据工程师和安全管理员提供全面的HBase安全配置指南，重点涵盖Kerberos认证集成和细粒度权限控制。内容范围包括理论原理、配置步骤、实战案例和最佳实践。本文首先介绍HBase安全基础概念，然后深入Kerberos集成细节，接着展示实际配置步骤和代码示例，最后讨论高级安全特性和生产环境最佳实践。Kerberos: 一种网络认证协议，通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证: 访问控制列表，定义用户对资源的访问权限Principal。
基于 kerberos 认证的hbase24小时认证失效_0578-5.15.1-Kerberos环境下Java应用程序认证超时异常分析...
weixin_29774037的博客
01-14 971
作者：谢敏灵/辉少1.文档编写目的在Kerberos环境中，我们的应用程序通过Java代码来提交任务需要先进行Kerberos凭证的初始化然后进行应用程序的提交，本文档主要讲述Java应用程序长时间运行作业Kerberos不自动重新认证问题测试环境1.CM和CDH版本为5.15.12.操作系统版本为RedHat7.23.集群已启用Kerberos2.问题描述在使用JDK 8时，在Kerberos环...
Kerberos安全认证-连载11-HBase Kerberos安全配置及访问
qq_32020645的博客
06-22 4243
技术连载系列，前面内容请参考前面连载10内容:​​​​​​​​​​​​​​大数据组件HBase也可以通过Kerberos进行安全认证，由于HBase中需要zookeeper进行元数据管理、主节点选举、故障恢复，所以这里对HBase进行Kerberos安全认证时，建议也对Zookeeper进行安全认证。
05、Kerberos安全认证之配置和访问Kerberos安全认证的HBase集群学习笔记
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1450
05、Kerberos安全认证之配置和访问Kerberos安全认证的HBase集群学习笔记
记一次hbase kerberos认证的坑
u012772803的博客
12-24 1263
现象 该程序已在多个环境上部署，上线成功，今天在一个新环境中部署，发现出现了kerberos认证不通过的现象，java.io.IOException: Login failure for [email protected] from keytab ./user.keytab，已经验证了该认证凭证正常，能正常认证 方案 参考stackoverflow 需要将krb5.conf文件中的参数进行调整 ...
java api访问kerberos认证的hbase
u011460470的博客
12-27 1125
java api访问kerberos认证的hbase
hbase1.2配置(带kerberos认证)
manweizhizhuxia的博客
08-09 1424
hbase配置
一次使用kerberos加密连接hbase错误记录
没有简介
07-03 596
项目中要使用公司hbase，但是公司hbase时通过kerberos加密的，在通过运维同学给的加密文件连接hbase时，一直报Unable to obtain password from user\u00A\u00A\u009， 看错误是用户名或加密文件不对，经过多次核对配置文件里的用户名没有问题，keytab文件也是直接放到配置目录没有改过。于是我在启动加入代码打开了kerberos debug开关。 System.setProperty("sun.security.krb5.debug", "
有kerberos认证hbase在spark环境下的使用
ahbbwangpei的博客
04-19 7209
hadoop中计算框架MapReduce中存储到有kerberos的hdfs，由于其内部yarn进行了认证故不需要进行相关的操作，可直接进行读写操作。spark使用有kerberos认证的hbase是一个既麻烦又简单的问题，麻烦的方面是：中文的网站相关的文章很少并且分布只是分散的知识点。官网中给的信息也不够完整，倘若要是使用还是会出现自己采坑的想象。简单的方面是：代码量很少，理解起来也不是很难。本...
Hbase 2.6.2，HBase 是一个面向列式存储的分布式数据库
04-04
HBase是一个开源的非关系型分布式数据库（NoSQL），它是Apache软件基金会的Hadoop项目的一部分，利用Hadoop的HDFS（Hadoop Distributed File System）作为其文件存储系统。HBase特别适合于存储稀疏数据集，能够处理...
hbase客户端连接工具winutils-2.2.0.zip
05-16
8. **安全设置**：如果HBase集群启用了Kerberos安全，你还需要在`hbase-site.xml`中配置安全认证的相关参数，并确保Java客户端拥有相应的keytab文件。 9. **错误排查**：在配置过程中可能会遇到各种问题，如网络...
java kerberos hbase,用Java访问带有Kerberos认证的HBase详解
weixin_32708653的博客
03-19 1263
开始之前因为HBase的存储系统是基于Hadoop的存储，现在Hadoop已经增加了Kerberos认证机制，这样HBase的客户端访问HBase数据库的时候也需要进行身份的认证。Kerberos是一个认证中心，客户端在访问HBase前必须通过认证才能访问，下图是Kerberos的认证图：我们不需要详细介绍Kerberos的原理，但是大概流程可以说一下：当HBase客户端访问HBase的时候，首先...
Flink 实时加购数据“维表补全”实战：从 Kafka 到 HBase 再到 Redis 的完整链路
AlgoCraft
08-24 683
本文介绍了基于Flink的电商实时加购数据维表补全方案，通过Kafka消费加购事件，使用Async I/O异步查询HBase维表补全商品维度，并写入Redis供下游业务使用。方案采用Guava缓存减轻HBase压力，支持Redis集群/单机模式，实现毫秒级延迟处理15万QPS，P99延迟<80ms。整套代码参数外置、开箱即用，已在电商大促场景验证，具备高并发处理能力。
BigData大数据应用开发学习笔记(06)实时检索--HBase
温故而知新
08-22 381
要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。MemStore：HBase数据先写入HLog之中，并同时写入MemStore，待满足一定条件后将MemStore中数据刷到磁盘，能提升HBase的写性能和读性能。即使是Key值相同，Qualifier也想通的多个KeyValue，也可能有多个版本，此时使用时间戳来区分，这就是同一条数据记录的多版本。
电力电子领域Boost单闭环仿真模型对电压阶跃变化与负载突变的稳定控制研究 电力电子 最新版
08-25
Boost单闭环仿真模型在电力电子领域的应用，特别是在目标输出电压阶跃变化和负载突变这两种极端工况下的稳定闭环控制效果。首先简述了Boost单闭环仿真模型的基本构造及其工作原理，接着深入探讨了在不同条件下（如电压阶跃变化和负载突变）如何利用闭环控制系统实现快速响应和平稳过渡。文中还提出了几种提升系统稳定性的方法，包括优化控制系统设计、引入误差调节和补偿机制、合理配置参数以及增强抗干扰能力。最后强调了该模型的重要性和潜在的应用前景。 适合人群：从事电力电子相关工作的工程师和技术人员，尤其是关注电源转换效率和稳定性的专业人士。 使用场景及目标：适用于需要评估或改进现有电源管理系统稳定性的场合，旨在帮助技术人员理解和掌握Boost单闭环仿真模型的工作机理，从而更好地应对实际工程中的挑战。 其他说明：随着电力电子技术的进步，Boost单闭环仿真模型有望在未来发挥更大的作用，推动工业生产和技术革新。
超强编程助手源码 编程辅助工具 代码规整工具源码 web开源助手源码
08-25
KaiGe超强编程助手源码/编程辅助工具/代码规整工具源码/web开源助手源码
【数据中心虚拟化】NVIDIA vGPU在KVM中的架构与性能优化：虚拟GPU技术详解及应用
最新发布
08-25
内容概要：本文介绍了NVIDIA在KVM虚拟化环境中实现GPU虚拟化的技术细节与优势。NVIDIA vGPU可以在多种主流hypervisor上运行，提供对GPU硬件的直接访问，确保了应用程序的兼容性和高性能表现。通过虚拟GPU（vGPU）技术，多个虚拟机可以共享同一物理GPU，提高了资源利用率和管理效率。文档详细解释了基于VFIO-MDEV架构的vGPU创建流程，包括设备初始化、内存映射、中断注入等机制。此外，还讨论了vGPU的迁移支持、性能优化措施以及在不同行业如油气、制造、政府和媒体娱乐中的应用案例。; 适合人群：对虚拟化技术感兴趣的IT专业人员，尤其是从事云计算、数据中心管理和GPU加速计算领域的工程师和技术经理。; 使用场景及目标：①了解如何在KVM环境中配置和使用NVIDIA vGPU；②掌握vGPU的创建、管理和迁移方法；③探索vGPU在提高虚拟桌面基础设施密度和性能方面的潜力；④评估vGPU技术对企业级应用的支持能力。; 其他说明：文中提到的技术和产品为NVIDIA公司专有，部分内容可能涉及保密信息，仅供授权用户参考。阅读时应注意版本更新和技术发展动态，以确保所获取的知识是最新的。
ComfyUILotus Depth实现高效单目深度估计与细节重建
08-25
文件编号：c0068 ComfyUI使用教程、开发指导、资源下载： https://datayang.blog.csdn.net/article/details/145220524 AIGC工具平台Tauri+Django开源ComfyUI项目介绍和使用 https://datayang.blog.csdn.net/article/details/146316250 更多工具介绍 项目源码搭建介绍： 《我的AI工具箱Tauri+Django开源git项目介绍和使用》https://datayang.blog.csdn.net/article/details/146156817 图形桌面工具使用教程： 《我的AI工具箱Tauri+Django环境开发，支持局域网使用》https://datayang.blog.csdn.net/article/details/141897682
hbase kerberos认证
01-18
### HBase Kerberos 安全认证配置 #### 使用的软件版本 当前环境使用的是Hadoop 3.3.4 和 HBase 2.2.6 版本[^1]。 #### 修改 `hbase-site.xml` 文件 为了使HBase能够支持Kerberos，在所有HBase节点中的`$HBASE_HOME/conf/hbase-site.xml`文件内添加必要的配置项来启用此功能[^2]。具体来说，这些设置通常涉及定义Zookeeper以及HBase服务主体名称和服务密钥表路径等参数。 #### Java应用程序连接到启用了Kerberos的安全集群 当通过Java程序访问已开启Kerberos保护模式下的HBase实例时，需先创建一个基于HBase默认配置对象的新实例，并指定Kerberos配置文件的位置；接着将身份验证方式设为“kerberos”，并调用相应方法完成用户的登录操作[^3]： ```java // 创建一个新的HBase Configuration 对象 Configuration conf = HBaseConfiguration.create(); // 设置Kerberos 配置文件位置 System.setProperty("java.security.krb5.conf", "path/to/your/krb5.conf"); // 启动 kerberos 身份验证机制 conf.set("hadoop.security.authentication", "kerberos"); UserGroupInformation.setConfiguration(conf); // 登录用户从keytab文件获取凭证 String principal = "[email protected]"; String keytabPath = "/path/to/keytab/file.keytab"; UserGroupInformation.loginUserFromKeytab(principal, keytabPath); ``` 上述代码片段展示了如何在一个典型的Java客户端应用中初始化与HBase服务器之间的安全会话过程。请注意替换实际环境中对应的principal和keytab路径值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

飞火流星02027

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值