kafka集群与redis集群的概念对应关系

已于 2023-12-02 20:32:45 修改
阅读量298 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 消息队列 redis 分布式 文章标签： kafka redis 分布式
于 2023-11-16 09:02:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zlpzlpzyd/article/details/134433532

近期在接触 kafka，发现 kafka 的一些概念与 redis 中的概念类似，整理如下

kafka集群

redis集群

消息划分

多主题

无主题概念，可以看做对数据没有做区分，即只有一个

存储区域划分

多分区

多分片

冗余机制

多副本，分主从，leader 负责读写，follower 负责同步 leader 数据

主从节点，主节点负责读写，从节点负责数据同步

其中，kafka 的主题和分区是上层逻辑上的概念，往下是副本和日志文件。

zookeeper，kafka，redis 集群环境搭建
夜月
11-05 2808
高并发之环境搭建 zookeeper集群 下载zookeeper 下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ 选择相应镜像地址，然后选择zookeeper版本，已3.4.10为例 下载成功后，执行命令，完成解压缩 tar -xvf zookeeper-3.4.10.tar.gz zookeeper配置 Zookeeper推荐使用集群...
Storm集成Kafka和Redis
Simon的博客
04-17 1161
Storm集成Kafka和Redis 一、 新建Strom项目   二、 引入pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <spring.version>2.5.6</spring.version&g...
kafka-connect-redis:f Kafka Connect Redis的源和接收器连接器
05-11
Kafka Connect Redis 用于Redis的Kafka源和接收器连接器 连接器 来源 Kafka Connect Redis Source使用Redis发布/订阅订阅Redis通道/模式（包括），并将接收到的消息写入Kafka。 有关更多信息，请参见。 下沉 Kafka Connect Redis Sink使用Redis命令格式（ SET ， GEOADD等）使用Kafka记录，并将它们应用于Redis。 有关更多信息，请参见。 演示版 查看该，以亲身体验该连接器的运行情况！ 该演示将引导您在本地计算机上设置Kubernetes，安装连接器，并使用连接器将数据写入Redis集群或将数据从Redis引入Kafka。 兼容性 需要Redis 2.6或更高版本。
集群架构总结（Kafka、redis，zk，es）
qq_33999844的博客
04-24 2024
ZK集群 1.zk集群节点可见 通过配置文件达到节点间相互可见 2.为什么集群设置奇数个节点 1.奇数节省资源：zk容错，zk节点剩下的个数必须要大于挂掉的节点（大于n/2），整个集群才可用。5节点容错2个，6节点容错2个 2.奇数节点集群可用性更高，2n,2n+1容错都是n-1,奇数个挂掉n-1个节点的概率小一点 3.可用性高，网络通信导致失联，裂出的节点使集群可用的概率...
Redis与Kafka的集成
AI天才研究院
01-18 1576
1.背景介绍 在现代大数据时代，数据处理和存储的需求日益增长。为了更好地处理和存储大量数据，许多高性能的数据存储和处理技术已经出现。Redis和Kafka是其中两种非常重要的技术。 Redis(Remote Dictionary Server)是一个开源的高性能的key-value存储系统，适用于存储和管理数据。它支持数据的持久化、备份、复制、自动失效等功能。Redis通常用于缓存、实时数据处...
Redis与ApacheKafka集成
AI天才研究院
01-21 1013
1.背景介绍 1. 背景介绍 Redis 和 Apache Kafka 都是非常流行的开源项目，它们在分布式系统中扮演着重要的角色。Redis 是一个高性能的键值存储系统，它支持数据的持久化、原子性操作和实时性能。Apache Kafka 是一个分布式流处理平台，它支持高吞吐量的数据生产和消费。 在现代分布式系统中，Redis 和 Kafka 经常被用于不同的场景。例如，Redis 可以用于...
kafka与redis
weixin_44857939的博客
03-24 4769
1、 kafka是消息中间件，原理就是一个队列用来保存所有发布的消息，等到客户端一上线就推送给客户端。发布订阅模式。所有消息都保存在磁盘上 2、redis是非关系型数据库，也有发布订阅的功能。 区别： kafka是保存在磁盘上，一般用于性能要求不高的场景（日志），而redis是保存在内存上，一般用于高并发的场景。 而且由于redis是保存在内存，所以服务器一旦宕机，内容丢失，安全性不好。 ...
redis zookeeper kafka集群安装手册.doc
11-03
redis zookeeper kafka集群安装手册
多机集群配置（zk、kafka、redis）
05-14
多机环境搭建zk、kafka、redis
centos7下kafka和zookeeper和Redis集群搭建.zip
12-30
6. **配置Kafka集群**： - 在`config`目录下创建`server-1.properties`、`server-2.properties`等文件，分别对应每个节点的配置，内容与`server.properties`类似，但需更改`broker.id`和`listeners`，以便区分不同...
你知道Kafka和Redis的各自优缺点吗？一文带你优化选择，不走弯路
最新发布
2401_85112052的博客
06-21 1874
按照上面的过程，4个月的时间刚刚好。当然Java的体系是很庞大的，还有很多更高级的技能需要掌握，但不要着急，这些完全可以放到以后工作中边用别学。学习编程就是一个由混沌到有序的过程，所以你在学习过程中，如果一时碰到理解不了的知识点，大可不必沮丧，更不要气馁，这都是正常的不能再正常的事情了，不过是“人同此心，心同此理”的暂时而已。道路是曲折的，前途是光明的！都是正常的不能再正常的事情了，不过是“人同此心，心同此理”的暂时而已。道路是曲折的，前途是光明的！
Kafka和Redis性能对比
yql987的博客
12-08 4770
Kafka和Redis性能对比 能力 关于卡夫卡 Kafka是一种分布式，分区和复制的提交日志服务，它提供消息传递功能以及独特的设计。我们可以在日志聚合过程中使用此功能。 Kafka使用的基本消息传递术语是： 主题：这些是发布消息的类别。 生产者：这是将消息发布到Kafka主题中的过程。 使用者：此过程订阅主题并处理消息。使用者是使用者组的一部分，该使用者组由许多使用者实例组成，以实现可伸缩性和容错能力。 代理：Kafka群集中的每个服务器都称为代理。 从不同来源获取的日志可以通过几个生产者流程输入到各种
redis VS kafka
weixin_30819163的博客
08-06 560
redis VS kafka （1）redis是内存数据库，只是它的list数据类型刚好可以用作消息队列而已 kafka是消息队列，消息的存储模型只是其中的一个环节，还提供了消息ACK和队列容量、消费速率等消息相关的功能，更加完善 （2）redis 发布订阅除了表示不同的 topic 外，并不支持分组 kafka每个consumer属于一个特定的consumer group（defaul...
redis和kafka比较
热门推荐
yjh314的专栏
09-11 1万+
redis 消息推送（基于分布式 pub/sub）多用于实时性较高的消息推送，并不保证可靠。 其他的mq和kafka保证可靠但有一些延迟（非实时系统没有保证延迟）。redis-pub/sub断电就清空，而使用redis-list作为消息推送虽然有持久化，但是又太弱智，也并非完全可靠不会丢。 另外一点，redis 发布订阅除了表示不同的 topic 外，并不支持分组，比如kafka中发布一个东西
Kafka,Mq,Redis作为消息队列时的差异
【模棱博客】 – Java技术博客
02-26 4194
原创于 【模棱博客】Kafka作为新一代的消息系统，mq是比较成熟消息系统，而redis也可以发布订阅，那么这三者有何异同？RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在中排队。对路由(Ro...
消息系统(kafka，redis等）的认识
胖墩的IT博客
05-15 973
学习过程中扩展自己的知识面 知识点来自郭俊(Jason Guo) ,他的技术博客文章http://www.jasongj.com/ 消息系统分类 Peer-to-Peer 一般基于Pull或者Polling接收消息 发送到队列中的消息被一个而且仅仅一个接收者所接收，即使有多个接收者在同一个队列中侦听同一消息 即支持异步"即发及弃"的消息传送方式，也支持同步请求/应答传送方式 发布/订...
Kafka与Redis比较
weixin_34032621的博客
01-18 854
转一篇比较Kafa与Redis的文章，从日志聚合分析了二者的性能。 《Kafka vs. Redis: Log Aggregation Capabilities and Performance》https://logz.io/blog/kafka-vs-redis/ ...
redis与kafka初步比较
麒麟于云海翱翔
11-23 5508
这两个都可以做消息队列，消息队列可以做什么？ 消息队列 优点 解耦 ，将消息写到消息队列中，需要的系统来订阅 异步，加快速度 消峰，防止同时间大并发请求数据库，造成数据库连接异常，而通过消息队列的话，消费者可以根据数据库处理能力的并发量来拉去消息 缺点 系统可用性降低；系统复杂性增加 kafka可用性 kafka是分布式系统，通过zookeeper管理集群配置，选举leader，在consumer...
kafka 和 redis 有什么区别？
qq_40673345的博客
12-31 2868
正常大家都这么问的，但是实际上应该是想问：kafka和redis queue有什么区别？ 因为redis是一个基于内存的kv数据库，而kafka是分布式发布订阅消息系统。两者本身不是同样一个层次的东西。 redis中有一个queue的数据类型，用来做发布/订阅系统，这个就可以和kafka进行比较了哈。 存储介质不同 redis queue数据是存储在内存，虽然有AOF和RDB的持久化方式，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值