显波的博客

1、HDFS简介：Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分布式文件系统。HDFS有三类节点，一类是NameNode，又名“名称节点/元数据节点”；另一类是DataCode(数据节点），还有一个是Secondary NameCode（第二名称节点）物理磁盘中有块的概念，磁盘的物理Block是磁盘操作最小的单元，读写操作均以Block为最小单元，一般为512 By...

留坑

阅读本篇博客主要学习到的内容：一个topic被分割成多个分片（Partition），分片内内容按照顺序进行存储。生产者根据Key值来决定将消息发送到哪个分片：1）如果没有Key值，则进行轮训发送 2）有key值，对Key值进行hash，然后对分区数量取余，如果想要数据的强烈顺序性，可以让该的消息都设置一个Key。 每个topic下面的所有消息，都是以分片的形式存储在多个节点上。同时每个分片...