- 博客(7)
- 收藏
- 关注
RSS订阅原创 HDFS NameNode元数据的存储方式和工作机制
NameNode元数据的存储方式元数据的存储方式在物理上是以内存+磁盘的形式存储的，是通过FsImage和Edits合并形成元数据
2022-09-20 11:45:52
1090
原创 HDFS读写流程（重要）
HDFS写流程 1. 首先客户通过DFS，向NameNode发起写请求 2. NameNode进行校验，查看客户端是否有权限以及写路径是否存在 3. 校验成功，NameNode响应客户端，可以上传文件 4. 客户端请求上传第一个block，等待NameNode响应上传到哪个dataNode
2022-09-20 10:33:25
427
原创 HDFS块大小计算
block默认大小在2.x/3.x是128M，在1.x是64M假如集群中有n个文件块，如果寻址的时间约为10ms，既查找到目标block的时间为10ms，寻址时间为传输时间的1%，则为最佳状态。因此传输时间为10ms/0.01=1000ms=1s，目前磁盘的传输速率为100MB/s.文件块大小为 磁盘的传输速率x传输时间。文件块大小=1s*100MB/s=100MHDFS块大小的设置主要取决于磁盘的传输速率。
2022-09-19 16:56:56
911
原创 前端页面还原 photoshop+CSS+html(一)
根据ps做出来的设计图，进行Html页面的步骤。logo 使用h1标签实现 ，作用： 使网站更容易被搜索引擎识别，更好的优化网站。行高(line-height)和容器(height)高度一致时，文字可以垂直居中。padding 使用场景：内容和容器之间有间距时 使用padding内填充给元素增加padding值后会增加在网站页中的实际占位 需要在width 和height 减去pad...
2022-06-13 18:54:24
831
原创 eclipse下调试MapReduce任务 WorkCount 遇到的各种坑（Hadoop版本2.7.3, Java编译环境（jdk1.8），IDE eclipse ）
eclipser调试mapreduce 需要导入的Jar包（最好把需要的jar包都导进去，不然会报N个错误）HADOOP_HOME/share/hadoop/hdfs/lib下全部的jar包HADOOP_HOME/share/hadoop/hdfs下hadoop-hdfs-2.7.3.jarHADOOP_HOME/share/hadoop/mapreduce 下全部的jar包HADOO...
2019-12-19 17:40:53
843
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人