Redis_21_RedisCluster集群版搭建和SpringBoot的使用(实践开发类)

已于 2022-11-30 20:37:23 修改
阅读量879 收藏 3
点赞数 2
CC 4.0 BY-SA版权
分类专栏： # 缓存Redis 文章标签： redis 数据库 sql
于 2021-10-10 22:05:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36963950/article/details/120693397
本文详细介绍了Redis集群的原理，包括节点间的通信、容错机制，并提供了手动搭建Redis集群的步骤，包括Ruby环境配置、节点创建、集成及查询。此外，还讲解了Java和Spring中使用JedisCluster连接Redis集群的方法。最后，讨论了如何在集群中添加、删除节点以及集群的故障恢复策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、前言

二、Redis集群原理

2.1 Redis集群架构图

在这里插入图片描述

redis集群架构细节:
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.
(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.
(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可
(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

2.2 redis-cluster投票:容错

在这里插入图片描述

redis集群的容错机制：投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.什么时候整个集群不可用(cluster_state:fail)?

(1) 如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成集群的slot映射[0-16383]不完成时进入fail状态. ps : redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭,打开集群兼容部分失败.

(2) 如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误。

三、集群版redis(redis-cluster)安装

3.1 手把手搭建ruby环境

redis集群管理工具redis-trib.rb依赖ruby环境，故首先需要在centos上安装ruby环境：

安装ruby环境：

yum install ruby
yum install rubygems

安装好ruby环境后，安装ruby和redis的接口程序：

拷贝redis-3.0.0.gem至/usr/local下

执行：

gem install /usr/local/redis-3.0.0.gem

3.2 新建集群所需结点（6个）

这里在同一台服务器用不同的端口表示不同的redis服务器，如下：

主节点：192.168.101.3:7001 192.168.101.3:7002 192.168.101.3:7003
从节点：192.168.101.3:7004 192.168.101.3:7005 192.168.101.3:7006

在/usr/local下创建redis-cluster目录，其下创建7001、7002。。7006目录，命令如下：

cd /usr/local        （进入/usr/local目录）
mkdir redis-cluster     （创建redis-cluster目录）
cd redis-cluster         （进入redis-cluster目录）
mkdir 7001 7002 7003 7004 7005 7006       （创建7001 7002 7003 7004 7005 7006目录）

运行结果如下：

在这里插入图片描述

将redis安装目录bin下的文件拷贝到每个700X（一共7001~7006 6个）目录内，同时将redis源码目录src下的redis-trib.rb拷贝到redis-cluster目录下。

修改每个700X目录下的redis.conf配置文件：

port XXXX   （指定redis端口，但是记住，6个redis的端口不同，避免端口冲突）
#bind 192.168.101.3
cluster-enabled yes        （允许构成集群）

3.3 启动所有redis结点（6个）

这里使用后端启动，分别进入7001、7002、…7006目录，执行：

./redis-server ./redis.conf

然后查看6个是否都已经成功启动：

ps aux|grep redis

运行结果，如下则为6个都启动成功（7001~7006）（PS:ps aux|grep 进程名，查看进程启动情况，可以在任意目录下执行此句，不一定要在7006目录下）

在这里插入图片描述

3.4 将6个redis结点集成

执行redis-trib.rb，此脚本是ruby脚本，它依赖ruby环境。

./redis-trib.rb create --replicas 1 192.168.101.3:7001 192.168.101.3:7002 192.168.101.3:7003 192.168.101.3:7004 192.168.101.3:7005 192.168.101.3:7006

（嗯，你没有想错，6个redis创建一个redis集群只需要这仅仅一条命令）

输出（创建集群输出）如下：

>>> Creating cluster
Connecting to node 192.168.101.3:7001: OK
Connecting to node 192.168.101.3:7002: OK
Connecting to node 192.168.101.3:7003: OK
Connecting to node 192.168.101.3:7004: OK
Connecting to node 192.168.101.3:7005: OK
Connecting to node 192.168.101.3:7006: OK
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
192.168.101.3:7001
192.168.101.3:7002
192.168.101.3:7003
Adding replica 192.168.101.3:7004 to 192.168.101.3:7001
Adding replica 192.168.101.3:7005 to 192.168.101.3:7002
Adding replica 192.168.101.3:7006 to 192.168.101.3:7003
M: cad9f7413ec6842c971dbcc2c48b4ca959eb5db4 192.168.101.3:7001
   slots:0-5460 (5461 slots) master
M: 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841 192.168.101.3:7002
   slots:5461-10922 (5462 slots) master
M: 1a8420896c3ff60b70c716e8480de8e50749ee65 192.168.101.3:7003
   slots:10923-16383 (5461 slots) master
S: 69d94b4963fd94f315fba2b9f12fae1278184fe8 192.168.101.3:7004
   replicates cad9f7413ec6842c971dbcc2c48b4ca959eb5db4
S: d2421a820cc23e17a01b597866fd0f750b698ac5 192.168.101.3:7005
   replicates 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841
S: 444e7bedbdfa40714ee55cd3086b8f0d5511fe54 192.168.101.3:7006
   replicates 1a8420896c3ff60b70c716e8480de8e50749ee65
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join...
>>> Performing Cluster Check (using node 192.168.101.3:7001)
M: cad9f7413ec6842c971dbcc2c48b4ca959eb5db4 192.168.101.3:7001
   slots:0-5460 (5461 slots) master
M: 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841 192.168.101.3:7002
   slots:5461-10922 (5462 slots) master
M: 1a8420896c3ff60b70c716e8480de8e50749ee65 192.168.101.3:7003
   slots:10923-16383 (5461 slots) master
M: 69d94b4963fd94f315fba2b9f12fae1278184fe8 192.168.101.3:7004
   slots: (0 slots) master
   replicates cad9f7413ec6842c971dbcc2c48b4ca959eb5db4
M: d2421a820cc23e17a01b597866fd0f750b698ac5 192.168.101.3:7005
   slots: (0 slots) master
   replicates 4e7c2b02f0c4f4cfe306d6ad13e0cfee90bf5841
M: 444e7bedbdfa40714ee55cd3086b8f0d5511fe54 192.168.101.3:7006
   slots: (0 slots) master
   replicates 1a8420896c3ff60b70c716e8480de8e50749ee65
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

附加说明1：语句中replicas指定为1表示每个主节点有一个从节点。实际上，任何一个redis集群至少需要3个主节点，这里因为一共6个结点，拿出3个主节点后，所以3个从节点，每一个主节点有一个从节点。

附加说明2：

若执行时报如下错误：

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法是删除生成的配置文件nodes.conf，如果不行则说明现在创建的结点包括了旧集群的结点信息，需要删除redis的持久化文件后再重启redis，比如：appendonly.aof、dump.rdb

3.5 查询集群信息（结点信息+状态信息）

步骤一：集群创建成功登陆任意redis结点查询集群中的节点情况。

客户端以集群方式登陆：./redis-cli -c -h 192.168.101.3 -p 7001

如下：

在这里插入图片描述

说明：

./redis-cli -c -h 192.168.101.3 -p 7001 ，其中-c表示以集群方式连接redis，-h指定ip地址，-p指定端口号

登录之后，查询结点信息和状态信息：

cluster nodes 查询集群结点信息

cluster info 查询集群状态信息

在这里插入图片描述

四、Java使用redis集群、Spring容器使用redis集群（jedisCluster）

4.1 Java使用Junit测试方法

// 连接redis集群
	@Test
	public void testJedisCluster() {
 
		JedisPoolConfig config = new JedisPoolConfig();
		// 最大连接数
		config.setMaxTotal(30);
		// 最大连接空闲数
		config.setMaxIdle(2);
 
		//集群结点
		Set<HostAndPort> jedisClusterNode = new HashSet<HostAndPort>();
		jedisClusterNode.add(new HostAndPort("192.168.101.3", 7001));
		jedisClusterNode.add(new HostAndPort("192.168.101.3", 7002));
		jedisClusterNode.add(new HostAndPort("192.168.101.3", 7003));
		jedisClusterNode.add(new HostAndPort("192.168.101.3", 7004));
		jedisClusterNode.add(new HostAndPort("192.168.101.3", 7005));
		jedisClusterNode.add(new HostAndPort("192.168.101.3", 7006));
		JedisCluster jc = new JedisCluster(jedisClusterNode, config);
		
		JedisCluster jcd = new JedisCluster(jedisClusterNode);
		jcd.set("name", "zhangsan");
		String value = jcd.get("name");
		System.out.println(value);
	}

4.2 Spring使用redis集群

代码1——Spring配置文件applicationContext.xml配置：

<!-- 连接池配置 -->
	<bean id="jedisPoolConfig" class="redis.clients.jedis.JedisPoolConfig">
		<!-- 最大连接数 -->
		<property name="maxTotal" value="30" />
		<!-- 最大空闲连接数 -->
		<property name="maxIdle" value="10" />
		<!-- 每次释放连接的最大数目 -->
		<property name="numTestsPerEvictionRun" value="1024" />
		<!-- 释放连接的扫描间隔（毫秒） -->
		<property name="timeBetweenEvictionRunsMillis" value="30000" />
		<!-- 连接最小空闲时间 -->
		<property name="minEvictableIdleTimeMillis" value="1800000" />
		<!-- 连接空闲多久后释放, 当空闲时间>该值 且 空闲连接>最大空闲连接数 时直接释放 -->
		<property name="softMinEvictableIdleTimeMillis" value="10000" />
		<!-- 获取连接时的最大等待毫秒数,小于零:阻塞不确定的时间,默认-1 -->
		<property name="maxWaitMillis" value="1500" />
		<!-- 在获取连接的时候检查有效性, 默认false -->
		<property name="testOnBorrow" value="true" />
		<!-- 在空闲时检查有效性, 默认false -->
		<property name="testWhileIdle" value="true" />
		<!-- 连接耗尽时是否阻塞, false报异常,ture阻塞直到超时, 默认true -->
		<property name="blockWhenExhausted" value="false" />
	</bean>	
	<!-- redis集群 -->
	<bean id="jedisCluster" class="redis.clients.jedis.JedisCluster">
		<constructor-arg index="0">
			<set>
				<bean class="redis.clients.jedis.HostAndPort">
					<constructor-arg index="0" value="192.168.101.3"></constructor-arg>
					<constructor-arg index="1" value="7001"></constructor-arg>
				</bean>
				<bean class="redis.clients.jedis.HostAndPort">
					<constructor-arg index="0" value="192.168.101.3"></constructor-arg>
					<constructor-arg index="1" value="7002"></constructor-arg>
				</bean>
				<bean class="redis.clients.jedis.HostAndPort">
					<constructor-arg index="0" value="192.168.101.3"></constructor-arg>
					<constructor-arg index="1" value="7003"></constructor-arg>
				</bean>
				<bean class="redis.clients.jedis.HostAndPort">
					<constructor-arg index="0" value="192.168.101.3"></constructor-arg>
					<constructor-arg index="1" value="7004"></constructor-arg>
				</bean>
				<bean class="redis.clients.jedis.HostAndPort">
					<constructor-arg index="0" value="192.168.101.3"></constructor-arg>
					<constructor-arg index="1" value="7005"></constructor-arg>
				</bean>
				<bean class="redis.clients.jedis.HostAndPort">
					<constructor-arg index="0" value="192.168.101.3"></constructor-arg>
					<constructor-arg index="1" value="7006"></constructor-arg>
				</bean>
			</set>
		</constructor-arg>
		<constructor-arg index="1" ref="jedisPoolConfig"></constructor-arg>
	</bean>

代码2——spring容器测试redis集群

private ApplicationContext applicationContext;
 
	@Before
	public void init() {
		applicationContext = new ClassPathXmlApplicationContext(
				"classpath:applicationContext.xml");
	}
 
	//redis集群
	@Test
	public void testJedisCluster() {
	JedisCluster jedisCluster = (JedisCluster) applicationContext
					.getBean("jedisCluster");
			
			jedisCluster.set("name", "zhangsan");
			String value = jedisCluster.get("name");
			System.out.println(value);
	}

五、Redis集群节点操作

5.1 添加主节点

集群创建成功后可以向集群中添加节点，下面是添加一个master主节点

添加7007结点

执行下边命令：

./redis-trib.rb add-node  192.168.101.3:7007 192.168.101.3:7001

在这里插入图片描述

进入redis结点，查看集群结点发现7007已添加到集群中：

centosIP:redis端口号>cluster nodes

在这里插入图片描述

添加完主节点需要对主节点进行hash槽分配这样该主节才可以存储数据。

redis集群有16384个槽，集群中的每个结点分配自已槽，通过查看集群结点可以看到槽占用情况。

在这里插入图片描述

给刚添加的7007结点分配槽：

第一步：连接上集群

./redis-trib.rb reshard 192.168.101.3:7001（连接集群中任意一个可用结点都行）

第二步：输入要分配的槽数量

在这里插入图片描述

输入 500表示要分配500个槽

第三步：输入接收槽的结点id

在这里插入图片描述

这里准备给7007分配槽，通过cluster nodes查看7007结点id为15b809eadae88955e36bcdbb8144f61bbbaf38fb

输入：15b809eadae88955e36bcdbb8144f61bbbaf38fb

第四步：输入源结点id

在这里插入图片描述

这里输入all

第五步：输入yes开始移动槽到目标结点id

在这里插入图片描述

5.2 添加从节点

集群创建成功后可以向集群中添加节点，下面是添加一个slave从节点。

添加7008从结点，将7008作为7007的从结点。

./redis-trib.rb add-node --slave --master-id 主节点id 添加节点的ip和端口 集群中已存在节点ip和端口

执行如下命令：

./redis-trib.rb add-node --slave --master-id cad9f7413ec6842c971dbcc2c48b4ca959eb5db4  192.168.101.3:7008 192.168.101.3:7001

cad9f7413ec6842c971dbcc2c48b4ca959eb5db4 是7007结点的id，可通过cluster nodes查看。

在这里插入图片描述

注意：如果原来该结点在集群中的配置信息已经生成cluster-config-file指定的配置文件中（如果cluster-config-file没有指定则默认为nodes.conf），这时可能会报错：

[ERR] Node XXXXXX is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0

解决方法是删除生成的配置文件nodes.conf，删除后再执行./redis-trib.rb add-node指令

查看集群中的结点，刚添加的7008为7007的从节点：

在这里插入图片描述

5.3 删除节点

./redis-trib.rb del-node 127.0.0.1:7005 4b45eb75c8b428fbd77ab979b85080146a9bc017

删除已经占有hash槽的结点会失败，报错如下：

[ERR] Node 127.0.0.1:7005 is not empty! Reshard data away and try again.

需要将该结点占用的hash槽分配出去。

七、尾声

本部分介绍redis集群的底层原理、redis集群安装、redis集群使用。

【微服务】springboot整合redis哨兵集群使用详解
congge
08-02 6269
springboot整合redis哨兵集群使用详解
springboot+redis单机与集群
06-10
代码版 springboot+redis单机与集群
SpringBoot 集成Redis Cluster方案
m0_67394002的博客
03-23 2056
1. RedisCluster集群结构 Redis-Cluster采用无中心结构，每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。 2.RedisCluster集群特点 ① 所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽； ② 每个主节点都有一个从节点，当主节点故障，Cluster会按照规则实现主备的高可用性； ③ 可以相对平滑扩/缩容节点； ④ Redis Cluster采用虚拟槽分区，所有的key根据哈希函数映射到0~16383槽内，key是
Redis性能优化：让Redis速度飞起来的20个关键技巧
最新发布
m0_65382359的博客
06-24 1095
内存优化：合理使用数据结构，控制内存碎片持久化优化：平衡数据安全性和性能网络优化：减少网络往返，优化连接管理命令优化：避免慢命令，使用批量操作架构优化：读写分离，数据分片系统优化：操作系统调优，硬件选择应用优化：合理的缓存策略和客户端设计通过全面的性能优化，Redis可以轻松支持每秒数十万次的操作，为应用提供极速的数据访问体验。在下一篇文章中，我们将深入探讨Redis缓存设计的最佳实践，敬请期待！
redis cluster+spring boot
c851204293的博客
02-26 541
1.在centos上进行redis集群部署。  参考我前面的一片文章《Redis集群搭建与简单使用》 2.springBoot架构整合 ①springBoot架构创建  这里不做过多描述，推荐使用idea一键创建  ②pom文件增加依赖。 &lt;dependency&gt;     &lt;groupId&gt;org.springframework.boot&lt;/groupI...
SpringBoot集成Redis Cluster集群（附带Linux部署Redis Cluster高可用集群）
kerwin的博客
10-27 6587
SpringBoot集成Redis Cluster集群（附带Linux部署Redis Cluster高可用集群）
springboot整合redis cluster集群
amunamuna的博客
04-23 278
文章目录springboot整合redis cluster集群pom.xmlapplication.propertiesRedisConfigRedisUtil springboot整合redis cluster集群 pom.xml <properties> <lettuce-core.version>5.1.8.RELEASE</lettuce-core...
Redis-cluster集群搭建+SpringBoot配置
qq_41764647的博客
12-03 448
准备工作 1）下载Redis安装文件：https://github.com/MSOpenTech/redis/releases/，Redis提供msi和zip格式的下载文件，这里下载zip格式Redis-x64-3.2.100版本。 2）下载Ruby安装文件：http://dl.bintray.com/oneclick/rubyinstaller/rubyinstaller-2.2.4-x64....
redis集群的总结、搭建、 springboot整合测试
02-03
Redis是一种高性能的键值对数据存储系统，常用于缓存、消息队列和数据库功能。在分布式系统中，为了提高Redis服务的可用性和数据安全性...通过实践，可以更深入地理解和掌握Redis集群的使用，提升系统的稳定性和性能。
Redis 结合 Docker 搭建集群，并整合SpringBoot
化繁为简
08-23 750
下载后，把redis-7.2.5.tar.gz\redis-7.2.5.tar\redis-7.2.5\里的。，主节点新数据更新到从节点需要时间，这段时间会出现数据不一致。由于docker直接拉取运行了，所以需要提前准备配置文件。cd 到 redis-cluster 目录，执行。输入用于分配哈希槽的节点，可以直接输入。结构如上图所示，准备6个服务器。不建议配，除非主节点压力很大。
Redis（一） SpringBoot 整合 Redis-Cluster
这里是阿安的博客
12-07 2313
Redis（一） SpringBoot 整合 Redis-Cluster
springboot整合redis集群零配置
07-28
Springboot整合Redis集群,零配置方式;另外用AOP实现了操作缓存的三套自定义注解,有兴趣的小伙伴可以试试看.
springboot1.5 -redis 集群
zhuchunyan_aijia的博客
06-20 416
1. 在resources/application.properties中添加集群连接参数spring.redis.cluster.nodes=120.77.172.111:7000,120.77.172.111:7001,120.77.172.111:7002,120.77.172.111:7003,120.77.172.111:7004,120.77.172.111:70052. 创建Redi...
SpringBoot 连接redis-cluster集群
孙霸天的专栏
12-17 5620
SpringBoot 连接redis-cluster集群 项目依赖 Springboot整合redis很简单，引入redis依赖即可 <!-- redis --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redi
Springboot整合Redis集群实战详解
m0_59092234的博客
08-30 6341
Redis Sentinel安装与部署，实现redis的高可用实现了redis的高可用，针对的主要是master宕机的情况，我们发现所有节点的数据都是一样的，那么一旦数据量过大，redis也会效率下降的问题。redis3.0版本正式推出后，有效地解决了Redis分布式方面的需求，当遇到单机内存、并发、流量等瓶颈时，可以采用Cluster架构方法达到负载均衡的目的。...
Redis——springboot整合cluster
weixin_42789698的博客
07-30 244
springboot整合cluster 需要使用的依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-redis</artifactId> <version>1.4.5.RELEASE</version> </dependency> 一、信息数据采集 &nb
Springboot--整合redis运用
weixin_43606226的博客
12-26 433
引入redis需要的jar包 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependenc...
SpringBoot+Redis-Cluster集群搭建及调优
Funky_oaNiu的博客
10-08 4027
SpringBoot+Redis-Cluster集群搭建及调优
Redis集群搭建及SpringBoot整合实践指南
资源摘要信息:"本文档主要对Redis集群技术进行了全面总结...通过以上知识点的介绍，读者可以对Redis集群的搭建、配置以及与Spring Boot的整合有更深入的理解，并能在实际项目中应用这些知识，从而提升开发和部署效率。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

祖母绿宝石

打赏一下

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值