
大数据
文章平均质量分 92
syso_HelloWorld
在学习的道路上,时常匆匆忙忙,而写博客则是为了记录所学所思。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop完全分布式部署配置及测试示范
SSH客户端:SSH客户端是安装在本地计算机上的软件,它用于发起与SSH服务器的连接,并在连接建立后,允许用户输入用户名和密码(或使用SSH密钥)进行身份验证,然后执行远程命令或登录到远程主机。在使用 start-yarn.sh 启动后,如果使用 jps 命令没有看到相应的进程输出,首先应该检查配置文件. 如果配置文件没有问题,那么可能是由于 JDK 版本的问题导致的.SSH服务器:SSH服务器是安装在远程主机上的软件,它负责监听SSH连接请求,并在用户身份验证通过后,提供远程登录和命令执行的功能。原创 2023-11-18 18:58:45 · 770 阅读 · 0 评论 -
Hadoop伪分布式部署配置及测试示范
1. 创建名称节点的文件系统目录: -format 命令会在配置文件中指定的HDFS名称节点的 dfs.namenode.name.dir 目录中创建名称节点的文件系统目录. 这些目录将用于存储HDFS的元数据信息,例如文件和目录的命名空间、块的位置和副本信息等.此前系统中的 JAVA_HOME 环境变量不需要改动, 这是因为Hadoop启动时所使用的JDK版本是在hadoop-env.sh文件中配置的 JAVA_HOME 环境变量所指定的版本,而不是系统中的环境变量配置的版本.原创 2023-11-05 20:39:46 · 910 阅读 · 0 评论 -
Hadoop本地模式部署配置及测试示范
因此, /etc/profile 适用于系统范围的配置,而 ~/.bashrc 适用于个人用户的配置. 通常,可以在 /etc/profile 中设置系统级别的环境变量和路径,然后在 ~/.bashrc 中设置个人用户的环境变量、别名和其他个性化配置. 这样可以保持系统级别和用户级别的配置分离,方便管理和维护.- hadoop jar :运行Hadoop的一个Java程序,后面跟随要运行的Java程序的JAR包路径.原创 2023-10-28 16:02:22 · 689 阅读 · 3 评论