异构存储主要解决,不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。
Hadoop的存储类型和存储策略有;
一、异构存储shell操作
1、查看当前有哪些存储策略可以用
[atguigu@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies-listPolicies
2、为指定路径(数据存储目录)设置指定的存储策略
hdfs storagepolicies -setStoragePolicy -pathxxx -policy xxx
3、获取指定路径(数据存储目录或文件)的存储策略
hdfs storagepolicies -getStoragePolicy -path xxx
4、取消存储策略;执行该命令之后该目录或者文件,以其上级的目录为准,如果是根目录,那么就是HOT
hdfs storagepolicies -unsetStoragePolicy-path xxx
5、查看文件块的分布
bin/hdfs fsck xxx -files -blocks -locations
6、查看集群节点
hadoop dfsadmin -report
二、测试环境准备
1、测试环境描述
服务器规模:5台
集群配置:副本数为2,创建好带有存储类型的目录(提前创建)
集群规划:
节点 |
存储类型分配 |
hadoop102 |
RAM_DISK,SSD |
hadoop103 |
SSD,DISK |
hadoop104 |
DISK,RAM_DISK |
hadoop105 |
ARCHIVE |
hadoop106 |
ARCHIVE |
2、配置文件信息
(1)为hadoop102节点的hdfs-site.xml添加如下信息
<property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.storage.policy.enabled</name> <value>true<