伯虎鸽-CSDN博客

原创 Spark安装部署

此为课程笔记环境：centos7. Hadoop2.7.1 Spark3.0.0 Python3 基于Docker的Spark安装部署。在老师指定的网站CourseGrading网站上的环境部署环境，本实验为每位学生提供了3个虚拟节点。 Spark安装 1.首先在网络上下载spark3.0 2.执行如下命令解压： cd /usr/local tar -zxvf spark-3.0.0-...

2020-03-28 19:01:38 371

原创一个hosts文件配置错误了！

Hadoop集群已经启动成功了但是web50070只能看到一个运行的datanode 是slave2的第一反应我怀疑是我的hosts文件里面是不是设置错了，然后我进去了slave2查看hosts文件，发现各个节点ip地址是对的，然后又查了master的，也是对的，唯独没查slave1的。然后我就各种搜索资料什么删除VERSION文件重启集群后来竟然启动集群后datanode都不显示了...

2020-03-10 21:08:57 1013

原创 Hadoop集群启动后,在web:50070端口只有一个datanode节点

Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。解决方法： 1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除（VERSION里面记录着datanodeid信息路径/hadoop/tmp/dfs/data/current） cd /usr/local/hado...

2020-03-10 21:04:04 3064 1

课程笔记环境：复制JDKmkdir /usr/local/java cp /cgsrc/jdk-8u171-linux-x64.tar.gz /usr/local/java/2.解压JDK安装包cd /usr/local/java/ tar -zxvf jdk-8u171-linux-x64.tar.gz rm -f jdk-8u171-linux-x64.tar.gz3.添加环境变量vim ...

2020-03-10 20:27:30 462

原创 Hadoop集群启动后没有Datanode解决方法

1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除（VERSION里面记录着datanodeid信息路径/hadoop/tmp/dfs/data/current） cd /usr/local/hadoop/tmp/dfs/data/current/ ls rm -f VERSION 3.执行hdfs namenode -fo...

2020-03-10 16:48:18 2892 4

原创 mkdir: Cannot create directory /usr/spark. Name node is in safe mode.

使用如下命令在HDFS文件系统中创建本实验的工作目录： /usr/local/hadoop/bin/hadoop fs -mkdir -p /user/spark 时遇到问题无法创建目录 mkdir: Cannot create directory /usr/spark. Name node is in safe mode. 这是因为该节点处于安全模式可以采用强制退出的安全模式命令找到ha...

2020-03-07 16:50:21 1413

原创如何解决安装MySQL后没有 my.ini 本地配置文件

环境 · win10 · MySQL8.0 问题描述：安装好MySQL 后，文件中找不到my.ini配置文件。解决方法 1、在安装目录的顶层目录（我的在c盘的根目录）中找到 program data 文件夹（该文件夹默认为隐藏文件夹） ...

2018-11-30 11:18:49 6633 2

原创连接mysql 8提示2059 - authentication plugin 'caching_sha2_password

环境 · win10 · mysql 8.0 · Navicat for mysql 11.2.15 问题描述：下载好MySQL和 Navichat 后，连接数据库时显示#2059链接错误。解决方法 1、由于MySQL8不支持动态修改密码验证方式，所以要先停止mysql。 2、在my.ini文件中默认有下面的语句，删除前面的#号即可，没有的话就把它添加到my.ini中 #default-...

2018-11-30 11:02:49 701

qq_42321843的博客