大数据学习教程SD版第六篇【Zookeeper】-CSDN博客

本文链接：https://blog.csdn.net/qq_41200768/article/details/121996716

本文全面介绍了Zookeeper的基础概念、工作机制、安装部署、选举机制及应用场景等内容。深入探讨了Zookeeper如何解决分布式环境中的一致性问题，包括数据写入流程、实现服务动态上下线和分布式锁的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. Zookeeper 简介

开源，分布式，为分布式框架提供协调服务，等价于：文件系统+通知机制

工作机制

服务端节点启动时，向ZK注册信息【临时节点】
Client 获取当前服务器列表，并注册监听
当服务器节点下线
ZK 通知Client
Client 重新获取服务器列表，并注册监听

特点

主从架构，一个Leader,多个Follower
半数以上节点存活，ZK 集群正常工作
全局数据一致，每个Server存一份相同数据副本
Client更新请求，顺序执行
数据更新具有原子性
实时性，最新数据

数据结构：类似Unix文件系统

一个ZNode 默认存储 1MB 数据
每个ZNode 都有唯一标识

功能场景

统一命令服务
统一配置管理
统一集群管理
服务器动态上下线
软负载均衡

2. Zookeeper 安装

2.1 本地安装

环境准备：JDK

下载安装包
解压安装包
修改配置文件 zoo.cfg

# 集群通信心跳时间ms
tickTime=2000
# Leader 和 Follow 初次初始化时间 10*tickTime
initLimit=10
# Leader 和 Follow 同步时间 5*tickTime
syncLimit=5
# Zk 数据存放目录
dataDir=/opt/module/apache-zookeeper-3.5.7-bin/zkData
# Zk 通信端口
clientPort=2181

启动Server、Client

# start server
zkServer.sh start
# start client
zkCli.sh
# quit client
quit
# zk status
zkServer.sh status
# stop server
zkServer.sh stop

2.2 集群安装

在本地基础上，做出如下修改

在zkData 目录下新建 myid 文件，里面输入本机id标识，可随意，后面对应上即可，分发
在zoo.cfg中加入如下配置，然后分发

# server.A = B:C：D  A 为myid中的标识，B 为节点IP,C为信息交换端口，D为选举端口
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888

在三台节点启动server

zkServer.sh start

# 查看各节点身份（leader,follower）
zkServer.sh status

3. Zeekeeper 选举机制

SID 服务器ID

ZXID 事务ID

Epoch Leader任期代号

3.1 第一次启动

ZK1 启动，给自己投一票，不足一半票，LOOLING状态
ZK2 启动，ZK1,ZK2 分别给自己投一票，ZK1 发现ZK2 的myid比自己大，把票投给ZK2,ZK2 两票，ZK 获得半票，成为Leader,ZK1 为Follower
ZK3 启动，此集群已有Leader,ZK3自动成为Follower

3.2 原来Leader挂了

Epoch 任期代号大的，直接胜出
Epoch 相同时，ZXID 大的，胜出
ZXID 相同时，SID 大的，最终胜出

4. Zookeeper 启动停止脚本

#!/bin/bash

case $1 in
	"start" )
for i in hadoop102 hadoop103 hadoop104; do
	echo "----------- $1 start -------"
	ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
		;;
	"stop" )
for i in hadoop102 hadoop103 hadoop104; do
		echo "----------- $1 stop -------"
	ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
		;;
	"status" )
for i in hadoop102 hadoop103 hadoop104; do
	echo "----------- $1 status -------"
	ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
		;;
	* )
echo "Args Error"
esac

5. Zookeeper Shell操作

# 连接 client
zkCli.sh
# 查看zk节点信息
ls -s /
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

节点类型
1. 临时、永久
2. 有序号、无序号

# 节点操作：创建节点
create /hefei "shushan" # 无序号永久节点
create -s /hefei "shushan" #  有序号永久节点
create -e /hefei "gaoxin" # 无序号临时节点
create -e -s /heifei "gaoxin" # 有序号临时节点
# 节点操作：查看节点值
get -s /hefei

# 节点操作：修改节点值
set /hefei "gaoxin"

# 节点操作：删除节点
delete /hefei
deleteall /hefei
# help
help

6. Zookeeper 监听器

工作流程

首先Main(),在main线程内部创建 Zk client ，两个线程：conncet、listener
connect 连接ZK server,发送监听事件
ZK server 把连接路径注册到监听器列表
当列表发生变化时，回调给listener
listener调用内部process()方法处理变化

常见监听场景

节点数据变化
```
get -w path
```
节点增减变化
```
ls -w path
```

注意：注册一次，只生效一次，只能监听一次

7. Zookeeper API

package com.ipinyou.zookeeper;

import org.apache.zookeeper.*;
import org.apache.zookeeper.data.Stat;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.util.List;

public class ZkClient {

    public String connectString="hadoop102:2181,hadoop103:2181,hadoop104:2181";
    public int sessionTimeout = 60000;
    private ZooKeeper zkClient;

    @Before
    public void init() throws IOException {
        zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
            public void process(WatchedEvent event) {

            }
        });
    }

    /**
     * 创建ZNode
     * @throws KeeperException
     * @throws InterruptedException
     */
    @Test
    public void create() throws KeeperException, InterruptedException {
        zkClient.create("/anqing","aaa".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
    }

    /**
     * 获取ZNode下KEY
     */
    @Test
    public void getChildren() throws KeeperException, InterruptedException {
        List<String> childrens = zkClient.getChildren("/", true);
        for (String children : childrens) {
            System.out.println(children);
        }
    }

    /**
     * 判断Znode是否存在
     * @throws KeeperException
     * @throws InterruptedException
     */
    @Test
    public void exists() throws KeeperException, InterruptedException {
        Stat exists = zkClient.exists("/anqing", false);
        System.out.println(exists != null? true: false);
    }
}