Spark页面8080端口访问不了（spark部署在阿里云上）

原创 已于 2022-03-14 16:17:29 修改 · 5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#阿里云 #服务器 #http

于 2022-03-14 15:58:02 首次发布
在阿里云服务器上部署Spark后，通过实例名称无法访问8080端口。排查过程包括检查端口占用、调整Spark配置、开放云服务器安全组端口，但问题仍未解决。最终通过使用服务器IP地址访问http://47.101.191.40:8080成功访问Spark服务。

问题：在阿里云服务器部署完成Spark服务器后想通过http//xs:8080 (xs是我在阿里云上创建的服务器实例的名称)访问spark8080端口，结果显示访问不到。
请添加图片描述
1，首先我按照网上建议，查看了自己是否是因为8080端口被占用，如果被占用可以在
/sbin/start-master.sh
配置文件中修改端口号（任意不被占用的端口即可）请添加图片描述
但是我的问题不是端口占用引起的

2.因为是阿里云服务器，我又检查了我云服务器的配置，果然发现云服务器没有开发8080端口。于是在安全组配置中添加的8080端口请添加图片描述
添加了端口范围1/65535包含了8080端口。

但是我的访问http//xs:8080还是报错，然后我尝试把实例名称xs直接替换成IP地址，通过http://47.101.191.40:8080果然正常访问了请添加图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
卡卡S君
关注
Spark连接被拒绝导致启动报错问题解决
2301_79366435的博客
08-16 2104
在解决该问题时，我们需要分析具体原因并采取相应的解决方案。然而，由于网络或安全策略等原因，可能会出现连接被拒绝的情况，导致Spark无法连接到所需的资源，从而引发启动报错问题。大数据处理框架Spark在进行任务提交及启动运行过程中可能会遇到连接被拒绝的情况，这会导致Spark启动报错。本文将介绍该问题的解决方案，并提供相应的源代码示例。要解决此问题，我们可以根据实际情况修改防火墙规则，允许Spark相关的通信。资源不足：如果集群中的资源（如内存、CPU）不足，可能会导致连接被拒绝。一、问题分析及原因探究。
Spark on Docker：容器化大数据开发环境搭建指南
最新发布
AI天才研究院
05-08 1177
随着大数据处理需求的爆发式增长，Apache Spark已成为分布式计算领域的事实标准。环境配置复杂性：Spark依赖Java、Scala运行时及Hadoop生态组件，版本兼容性问题频发环境一致性难题：开发、测试、生产环境的配置差异导致"在我机器上能跑"的经典问题资源隔离不足：多用户共享集群时易出现资源抢占和性能抖动分钟级环境初始化，无需手动配置依赖开发/测试环境完全镜像化，一键迁移资源细粒度隔离，支持多版本共存Docker基础架构与核心概念。
spark伪分布式搭建及spark页面8080端口访问出错的问题
sogn
12-28 2万+
伪分布式搭建其实很简单（spark集群搭建都很简单）1、首先到官网下载spark压缩包2、下载 命令行中使用：wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz 3、解压 tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz 4、修改配置文件
Hadoop与Spark以及那些坑
lyx的专栏
12-21 3438
这两天在搭建Hadoop与Spark的平台，要求是能够运行Spark，并且用python编程。笔者也不打算写一个很详细的细节教程，简单做一个笔记blog。 1.选择         笔者一开始是在虚拟机上搭建的，创建了三个ubuntu虚拟机，然后开始布置分布式系统，但是，后来发现，资源完全不够用。笔者台式机16G内存，2T硬盘，i7第四代处理器，然而，还是被hadoop拖死。
spark页面8080端口访问打不开
lclchong的博客
07-30 1190
​ Spark端口号和其他应用发生冲突 ​
阿里云emr spark kafka redis MongoDB例子demo
04-04
1. **配置Kafka**: 首先，需要在阿里云上部署和配置Kafka集群，确保生产者和消费者可以正常工作。 2. **创建Spark Streaming应用**: 在Scala或Java中编写Spark Streaming程序，导入必要的库，如`org.apache.spark....
如何在阿里云服务器上配置部署kafka
DreamsArchitects的博客
08-31 5288
在云服务器上配置部署kafka和zookeeper一、介绍二、打开防护墙端口2181、9092三、打开云服务器的端口四、修改Kafka的配置文件 一、介绍 同样将压缩包通过ssh工具上传到我们的云服务器上，解压即可。 zookeeper的配置是和本地服务器配置是一样的，具体请参考这篇文章CentOS7安装部署kafka和zookeeper，但是不同的是kafka的配置文件的修改。 二、打开防护墙端口2181、9092 firewall-cmd --zone=public --add-port=2181/tc
【服务器】（四）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Spark与Scala
系'辞的博客
04-09 346
安装Scala2.11.12版： cd /home/test/Downloads tar -zxvf /home/test/Downloads/scala-2.11.12.tgz -C /home/test/install/ cd /home/test/install vim /etc/profile #文件内容如下： export SCALA_HOME=/home/test/install/scala-2.11.12 export PATH=$PATH:$SCALA_HOME/bin
spark页面8080端口访问出错的问题
qq_38709565的博客
03-23 6506
我在安装完spark集群后，在主节点上查看spark的UI界面：http://master:8080页面访问不了！！！通过上网上查看。发现8080端口会和其他端口共用，即会产生冲突，其实就是端口占用了。因此我们只需要将spark配置文件中的访问端口改成其他的就ok了！ 因此，我们打开主节点的配置文件：“/usr/local/spark/sbin/start-master.sh”文件： vim...
关于访问Spark管理界面hadoop01:8080的相关问题解决
zlashouch的博客
03-07 2626
使用记事本打开C:\Windows\System32\drivers\etc路径下的host文件，查看是否自己的host文件被修改。如果没有下图红框里的内容，根据自己的虚拟机IP地址完成映射就行。当启动Spark集群后，使用jps命令可以看到Hadoop01上启动了Master进程，Hadoop02和Hadoop03上启动了worker进程时，访问Spark管理界面。来查看集群状态时出现报错，显示页面无法访问。
【阿里云服务器】外网无法访问tomcat下部署的项目
热门推荐
逛街的喵啊
05-13 2万+
问题提出：在ESC实例上部署了jdk和tomcat，启动tomct后，内网可以访问8080端口，外网无法访问8080. 系统环境：winsdow 2008 企业版 解决方案： 在网上查资料后说是配置安全组策咯，但是没说是在ESC上部署，还是在阿里云网站上部署，这是一个大坑。 不多说，看操作流程： 1.登陆阿里云 2.进入安全组 3.配置规则 4.配置8080端口...
spark集群启动后8080端口不显示slave运行情况
aierate的博客
05-25 1070
当hadoop，spark集群在运行的时候，如果出现断电情况，系统会进入安全模式。因此，解决办法是关闭hadoop的安全模式。 1、 在安全模式下输入指令： hadoopdfsadmin-safemodeleave 即可退出安全模式。 2.关闭防火墙： systemctl stop firewalld (后面忘了，按table键就可以了） 3.关闭集群 $sbin/stop-master.sh (关闭spark...
spark都可以使用，三个节点分别有master、woker进程，测试spark程序也可以，就是打不开master:8080的网页。
lclchong的博客
07-30 1054
spark都可以使用，三个节点分别有master、woker进程，测试spark程序也可以，就是打不开master:8080的网页。
Spark独立模式http://localhost:8080访问不了
大强博客
02-02 4350
问题描述： Spark独立模式 手动启动集群 ./sbin/start-master.sh http://localhost:8080访问不了 解决办法： 1、检查环境安装配置是否正确 vi /etc/profile # Java export JAVA_HOME=/usr/java/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin ...
项目已经部署到Linux中，且启动成功，但是却访问不到
CSDNxiaozhi的博客
05-03 1万+
背景 今天新增加了一台新服务器，暂时nginx啥的都未启用，所以就准备先把项目跑上去，通过ip+端口进行访问，能用即可，但部署成功之后，却一直访问不了，在浏览器访问之后，一直在转圈就是不显示，这里有个特点：首先不是一访问就出现找不到页面，其次是，感觉访问得到，但一直在解析，就是不显示页面； 一般出现以上情况，我们可以通过多种方式进行一一排除，排查出原因： 第一种：通过浏览器访问，但不显示，这是最直...
spark master 占用8080，手动指定特定端口
上海菁数信息技术
01-03 4142
vim spark的conf路径/sbin/start-master.sh 原来有如下一行： if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then   SPARK_MASTER_WEBUI_PORT=8080 fi 将8080改为你所希望启动的端口号如8089或者其他 start-master.sh 启动master进程（或者sbin/sta
spark web UI端口 4040,18080， 8080页面访问不了
Heitao5200的博客
03-24 2万+
Localhost：4040页面访问不了 是因为history server没开的问题   Spark history Server产生背景  以standalone运行模式为例，在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Applicatio...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值