集群优化(一)

问题1

• 问题描述：
  Cloudera Manager Agent(node6) 的 Parcel 目录位于可用空间小于 5.0 吉字节 的文件系统上。 /opt/cloudera/parcels（可用：2.5 吉字节 (6.34%)，容量：39.2 吉字节）

• 原因：
  node6上/opt/cloudera/parcels可用目录的空间小于5G

• 可选解决方案：
  1).更改服务对该目录需要空间大小的阈值
  2).增加一块磁盘，并将/opt/cloudera映射成这块新磁盘
  3).清理现有的本地文件系统，将多余的磁盘空间释放

  最终采纳方案：
  清理现有的本地文件缓存，将多余的磁盘空间释放

问题2

• 问题描述：
  Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件

• 原因：
  安全模式下无能创建目录，所以我们需要先解除安全模式

• 解决方案：
  hdfs dfsadmin -safemode -leave

问题3

• 问题描述：
  任务运行内存大于8G,yarn集群单容器内存小于6G

• 原因：
  任务内存大于节点的可提供内存数，我们可通过挑拨节点内存数、核心数的阀值来使任务可以用更大的内存运行

• 解决方案：
  配置yarn.nodemanager.resource.memory-mb为24G(单服务器可提供服务的内存)
  配置yarn.scheduler.maximum-allocation-mb为24G
  配置yarn.nodemanager.resource.cpu-vcores为12核（单服务器可提供服务的核心数）
  配置yarn.scheduler.maximum-allocation-vcores为12核