记录工作所遇问题及个人概念理解

第一步，克隆一个服务器环境第二步，修改主机名hostnamectl set-hostname s4.hadoop第三步，修改ipvim /etc/sysconfig/network-scripts/ifcfg-<网卡的硬件名称>cd /etc/sysconfig/network-scripts/vim ifcfg-ens33注意修改完文件之后用systemctl restart network.service重启网络服务，当前的ssh就连接不上了，是因为网络IP被改变成你自己设

cm的重建难题cdh的cm节点完全挂掉之后，根据：https://www.bbsmax.com/A/nAJv0kGdrk/https://community.cloudera.com/t5/Cloudera-Manager-Installation/cloudera-manager-database-lost/td-p/31989的说明，本来打算进行重建式的恢复。但此方法隐藏的风险巨大，包括已经运行了很久的集群配置，有不少的变化，很难保证完全还原。另外，我们的cdh这次要修复的情况，和网上的情

1> 进入主节点的Mysql数据库，然后drop database cm;2> 删除Agent节点namenode和datanode节点信息 # rm -rf /data/dfs/nn/* # rm -rf /data/dfs/dn/*3> 在主节点上重新初始化CM数据库/usr/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost

新集群10.96.29.109 hd-slave-01810.96.29.110 hd-slave-01910.96.29.111 hd-slave-02010.96.29.132 hadoop-slave-008 archive.cloudera.com10.96.29.133 hadoop-slave-00910.96.29.135 hadoop-slave-01110.96.29.136 hadoop-slave-01210.96

机器列表：10.50.1.37 cdh-test01 （跳板机，你们从这台登录）10.50.1.38 cdh-test0210.50.1.45 cdh-test0310.50.1.70 cdh-test0410.50.1.84 cdh-test05目前系统盘是50G 数据盘是50G配置每个机子的host关闭iptables$ service iptables stop$ chkconfig iptables off关闭SELINUX$ vim /etc/selinux/co

1.数据备份mysql备份文件在hadoop-slave-016 /data/mysql_backup/目录下mysqldump -uroot -p123456 scm > /data/mysql_backup/scm-backup-5.13.3-20180515.sqlmysqldump -uroot -p123456 metastore > /data/mysql_backup/metastore-backup-5.13.3-20180515.sqlmysqldump -uroot

启动服务cloudera-scm-server时会遇到过一段时间自己挂掉，并返回cloudera-scm-server dead but pid file exists的问题。查看日志文件报错信息cat /var/log/cloudera-scm-server/cloudera-scm-server.log|grep ERRORrm -rf /var/run/cloudera-scm-server.pidservice mysqld restartservice cloudera-scm-s

cm升级版本为5.14.2，agent版本为5.13.3yum list | grep cloudera4.列出所有已安装的软件包命令：yumlist installed卸载5.14.2yum remove cloudera-manager-agent.x86_64 5.14.2-1.cm5142.p0.8.el6yum remove cloudera-manager-daemons.x86_64 5.14.2-1.cm5142.p0.8.el6yum remove cloudera-m