这篇文章将详细介绍如何搭建大数据环境,从安装和配置Hadoop开始,逐步展开到HBase、HDFS、MongoDB以及Eclipse等组件的设置,大家有不懂的可以评论!
Ubuntu 大数据环境搭建(一):Hadoop搭建
Ubuntu 大数据环境搭建(二):安装配置eclipse以及HDFS编程
Ubuntu 大数据环境搭建(三):HBase的安装和基础编程
Ubuntu 大数据环境搭建(四):典型NoSQL数据库的安装和使用
Ubuntu 大数据环境搭建(五):MapReduce基础编程
Ubuntu 大数据环境搭建(六):Hive以及MySQL的安装和使用
Ubuntu 大数据环境搭建(七):Spark安装和使用
需要软件包的可以自取:大数据环境搭建软件包
(1)Linux系统:Ubuntu16.04或者Ubuntu 22.04。
(2)Hadoop:3.3.5版本。
(3)JDK:1.8版本。
(4)Flink:flink-1.16.2。
Flink的安装和基础编程
Flink的运行需要Java环境的支持,因此,在安装Flink之前,请先参照相关资料安装Java环境(比如Java8)。然后,到Flink官网下载安装包flink-1.16.2-bin-scala_2.12.tgz。
使用如下命令对安装文件进行解压缩:
cd ~/Downloads
sudo tar -zxvf flink-1.16.2-bin-scala_2.12.tgz -C /usr/local
修改目录名称,并设置权限,命令如下:
cd /usr/local
sudo mv ./ flink-1.16.2 ./flink
sudo chown -R hadoop:hadoop ./flink
使用如下命令添加环境变量:
sudo vim ~/.bashrc
在.bashrc文件中添加如下内容:
export FLNK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH
保存并退出.bashrc文件,然后执行如下命令让配置文件生效:
source ~/.bashrc
使用如下命令启动Flink:
cd /usr/local/flink
./bin/start-cluster.sh
使用jps命令查看进程:
jps
17942 TaskManagerRunner
18022 Jps
17503 StandaloneSessionClusterEntrypoint
Flink安装包中自带了测试样例,这里可以运行WordCount样例程序来测试Flink的运行效果,具体命令如下:
cd /usr/local/flink/bin
./flink run /usr/local/flink/examples/batch/WordCount.jar
执行上述命令以后,如果执行成功,应该可以看到类似如下的屏幕信息:
Starting execution of program
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
……