Spark 伪分布式环境配置

最新推荐文章于 2024-04-26 20:25:38 发布
最新推荐文章于 2024-04-26 20:25:38 发布
阅读量575 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hongxiao2016/article/details/90550454
博客展示了Hadoop和Spark的环境配置过程，包括设置JAVA_HOME、HADOOP_HOME等环境变量，还设置了Spark的主节点IP和端口。最后通过执行脚本启动服务，并给出了Web UI的IP地址。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

配置/conf/

cp spark-env.sh.template spark-env.sh 

 

export JAVA_HOME=/opt/jdk1.8.0_121
export HADOOP_HOME=/opt/hadoop-2.7.7
export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export SPARK_MASTER_IP=localhost
export SPARK_MASTER_PORT=7077 

 

sbin/start-all.sh

 web UI ip:8080

完成。 

 

搭建Spark伪分布式
weixin_66087662的博客
03-29 1249
基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。出于任务管道承接的考虑，当一些查询翻译到MapReduce任务时，往往会产生多个Stage，而这些串联的Stage又依赖于底层文件系统（如HDFS）来存储每一个Stage的输出结果。Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。
spark1.2.0版本搭建伪分布式环境
weixin_30808253的博客
02-09 201
1、下载scala2.11.5版本，下载地址为：http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala： 第一步：上传scala安装包 并解压 第二步 配置SCALA_HOME环境变量到bash_profile 第三步 source 使配置环境变量生效： 第四步 验证scala： ...
Spark伪分布式配置
asd547249091的博客
08-17 182
解压和重命名文件 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mkdir /opt/spark mv spark-2.2.0-bin-hadoop2.7 /opt/spark/spark2.2 进入配置文件目录 cd /opt/spark/spark2.2/conf/ cp spark-env.sh.template spark-env.sh 编辑...
Spark学习之路 （五）Spark伪分布式安装
weixin_34268310的博客
04-22 221
一、JDK的安装 JDK使用root用户安装 1.1　上传安装包并解压 [root@hadoop1 soft]# tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/ 1.2　配置环境变量 [root@hadoop1 soft]# vi /etc/profile #JAVA export JAVA_HOME=/usr...
Spark基础学习笔记04：搭建Spark伪分布式环境
howard2005的专栏
03-01 2453
1. 学会搭建Spark伪分布式环境 2. 学会启动Spark Shell进行交互式操作 3. 学会使用Spark WebUI查看运行状态
spark伪分布式环境配置与scala、java、python编程实例
06-06
Spark伪分布式环境配置： 1. 安装Java和Scala 2. 下载Spark并解压缩 3. 配置环境变量 4. 修改配置文件 5. 启动Spark Scala编程实例： 1. 定义变量和常量 2. 控制流语句 3. 函数定义和调用 4. 集合操作 5....
伪分布式hadoop、spark、scala 超详细搭建流程
最新发布
2301_82049895的博客
04-26 2143
伪分布式hadoop。
Spark的伪分布式配置（Ubuntu）
Stay Hungry Stay Foolish
04-08 365
在配置完Hadoop伪分布式的前提下 1.将SPARK配置进环境变量 2. 将SPARK目录的conf目录的spark.env.sh.template改名为spark.env.sh，并配置为 此处的IP地址为所需要的MASTER的IP地址，当前是伪分布式配置，所以MASTER和WORKER都为本机，配置为本机的IP地址即可，可用ifconfig命令查询 3.将SPARK目录的conf目录的sl...
【大数据工具】Spark 伪分布式、分布式集群搭建
程序员五哥
06-07 835
安装前提：安装 Spark 前需要先安装好 JDK。
spark搭建伪分布式环境
weixin_43861175的博客
05-20 569
软件准备 • 一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机，主机名为repo 参考在Windows中安装一台Linux虚拟机 • spark安装包 下载地址：https://mirrors.aliyun.com/apache/spark/ 我用的spark-2.2.0-bin-hadoop2.7.tgz 要根据自己机器中的hadoop版本选择对应的spark版本 (1) 把安装包...
Spark伪分布式环境搭建
我思故我在
08-10 358
Spark伪分布式环境搭建 前期准备 1、 配置好hadoop环境 1)安装好jdk 2)安装好ssh 2、 安装scala 1)下载scala rpm -ivh scala-2.10.1.rpm（兼容JDK1.7） 2)测试scala scala 出现下面表示安装成功 Welcome to Scala version 2.10.1 (Java Ho...
Hadoop伪分布式-----Spark的安装和配置
机器学习、数据挖掘
03-30 2392
在前面几章已经搭建好Hadoop环境，本节主要介绍在Hadoop基础上搭建Spark平台 1 下载所需安装包 1）下载spark安装包      2）下载Scala安装包，并解压安装包本例以下面版本为例 2配置环境变量 利用命令sudo gedit /etc/profile配置如下环境变量 3 查看Scala版本 4 配置Spark 将 spark -env.sh
Spark 单机版伪分布式 CentOS
GIS摆渡人
12-24 372
如果机器资源有限，可以使用单机伪分布式 本次部署是在centos 7.1上部署的，ip地址是192.168.1.91，主机名称是hadoop03，已经做好了ssh免登录。Spark各依赖组件的版本分别如下： JDK 1.8.0_71 Scala 2.11.8 Hadoop 2.6.0 一、scala下载安装 1、下载 https://www.scala-lang.org/download...
Spark的介绍及伪分布式集群的搭建
Mr_YXX的博客
03-20 1092
一、概述 Apache Spark是一个快如闪电的统一分析引擎（并没有提供数据存储的方案） 快如闪电（相比于传统的大数据处理方案MapReduce）： Spark将一个复杂的计算任务Job拆分为多个细粒度的Stage，每一个Stage都可以分布式并行计算；对于MapReduce初代的计算引擎，它将任务拆分了粗粒度的MapTask和ReduceTask，对于特别复杂的计算任务，我们需要将多个Ma...
Spark的伪分布式与完全分布式
10-02 677
伪分布式配置 spark-env.sh 配置 slaves 配置如下 网页查看 http://bigdata121:8080/ 结果如下 spark 的 bin 目录下 ./spark-shell -- master spark://bigdata121:7077 完全分布式配置如下 step1、修改vi slaves...
spark伪分布式的搭建
一个程序媛的成长记录❤
05-30 303
https://www.jianshu.com/p/9622f684144d 感谢这篇博客，结合里面的步骤，我部署成功了。 在这里我犯的错主要是没弄懂“主机名”是什么 所以在修改spark-env.sh等配置文件时，主机名要写自己的现在正在运行的虚拟机的主机名，一定不要照搬照抄！ ...
spark默认端口
杜海的博客
11-08 1829
50070：HDFSwebUI的端口号 8485:journalnode默认的端口号 9000：非高可用访问数rpc端口 8020：高可用访问数据rpc 8088：yarn的webUI的端口号 8080：master的webUI，Tomcat的端口号 sparkwebUI的端口号 7077：spark基于standalone的提交任务的端口号 8081：worker的webUI的端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值