慕铭yikm

2021年全国行业职业技能竞赛暨第四届全国大学生大数据技能竞赛——职教学生组线上选拔赛 资料 题目一、基础配置 1.比赛框架本次比赛为分布式集群搭建，共三台节点，其中master作为主节点，slave1、slave2为从节点； 2.比赛内容 基础配置：修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问； JDK安装：环境变量； Zookeeper部署：环境变量、配置文件zoo.cfg、myid； Hadoop部署：环境变量、配置文件修改、设置节点文件、格式化、开启集群； Hi

前言 继一键启动zookeeper、hadoop、hbase集群（shell脚本）增添hive，spark组件 一键启动 文件名： start-cluster.sh vim start-cluster.sh 插入以下内容： #! /bin/bash echo -e "\033[31m ————————————————hadoop生态圈启动中————————————————\033[0m" sleep 1 echo -e "\033[34m ————————————————启动zook.

目录 spark安装 前言 资料链接 安装scala 创建scala工作目录 配置环境变量（三台机器） 查看是否安装成功 分发到节点 验证 安装spark 创建spark工作目录 编辑spark-env.sh 配置spark从节点 配置环境变量（三台机器） 分发到节点 测试运行环境（只在master节点执行） 访问spark web界面 开启spark-shell 输入pyspark测试python环境spark交互模式 spark安装 Ap...