安于长情_-CSDN博客

原创 Git基本用法

将暂存区文件提交到本地库。本地库代码推送到远程库。本地文件添加到暂存区。1-查看引用日志信息。2-查看详细日志命令。

2024-11-20 16:37:52 168 1

原创 json.dump与json.dumps

json.dumps()将字典数据格式转换成json格式。json.dump()将json数据格式转为字典数据格式。

2024-07-01 22:54:22 331

原创 Redis的基本操作之列表（Lists）

【代码】Redis的基本操作之列表（Lists）

2024-06-28 20:46:24 126

原创 Redis的基本操作之字符串（String）

【代码】Redis的基本操作之字符串（String）

2024-06-28 20:45:03 156

原创 06hadoop集群搭建

hadoop集群搭建步骤大致如下：1.上传安装包，解压2.修改配置文件3.scp同步安装包4.hadoop环境变量配置5.启动集群6.集群web-ui。

2024-04-01 18:22:17 265

Zookeeper集群搭建指的是ZooKeeper分布式模式安装。通常由2n+1台server组成。这是因为为了保证Leader选举（基于Paxos算法的实现）能过得到多数的支持，所以ZooKeeper集群的数量一般为奇数。Zookeeper运行需要java环境，所以需要提前安装jdk。对于安装模式的集群，大致过程如下：配置主机名称到IP地址映射配置修改ZooKeeper配置文件远程复制分发安装文件设置myid启动ZooKeeper集群这里，我们安装的是模式。

2024-03-28 09:50:11 1598

原创 04 JDK安装(所有节点安装)

(可以连接finalshell 使用rz命令上传，如何连接finalshell，从网上搜一搜吧。若：centos7自己下载了jdk安装配置好了环境变量还是出现命令不存在。是个绿色软件，解压并且配置环境变量即可使用, 三个节点都需要安装的。8) 在node2和node3配置jdk的环境变量。9) 测试node2和node3 是否安装成功。分别在node2和node3重新加载环境变量。7) 将jdk分发给node2和node3。配置文件，将下面配置拷贝进去。在虚拟机中创建两个目录。

2024-03-28 09:34:52 339

原创 03 mysql安装

4.2) mysql-community-source.repo 用于指定下载哪个版本的源码。4.1) mysql-community.repo 用于指定下载哪个版本的安装包。如果查询到有内容: 使用 rpm -e --nodeps 要卸载名称。，如果已经安装需要卸载。如果没有找到，则表示没有安装。，所以需要设置开启，并且刷新权限缓存。这里需要比较长的时间，要从互联网上下载。若无法使用wegt命令，则执行。的远程登录权限，默认情况下。为安全起见，不支持远程登录。注：需要连接互联网，在线。

2024-03-28 09:31:28 365

原创 02 Hadoop环境配置统一

执行该命令之后，按下三个回车即可，然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥），默认保存在/root/.ssh目录。克隆第三台虚拟机，通过node1虚拟机克隆，克隆方式是一样的，注意修改虚拟机的名称和存放位置。指定虚拟机名字和存放位置,三台虚拟机的存放路径尽量在一起，不在一起也没关系。注意：不要修改文件原来的内容，三台虚拟机的配置内容都一样。DHCP设置中的起始IP与结束IP为可设置IP的范围。例如：在node1机器上，免密登录到node2机器上。

2024-03-28 09:17:34 578

原创 01虚拟机安装操作

CentOS版本：CentOS-7-x86_64-Everything-2207-02.iso。结束后 , 点击重启, 然后进入系统, 到此, 虚拟机搭建工作结束。2.添加linux的iso镜像文件。VMware版本：17.5。3.开启虚拟机, 进行安装。4.登录, 进入系统。

2024-03-28 08:41:23 188

原创爬虫——豆瓣电影TOP250

豆瓣Top250数据

2023-12-12 21:28:26 674

原创 selenium+opencv之豆瓣滑块验证登录

opencv图像处理滑块验证码破解

2023-12-12 20:54:36 795 1

原创 hive安装部署

1. 修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆。5. 初始化Hive元数据库，进入Hive客户端，创建hive数据库。2. 格式化HDFS文件系统。3. 启动Hadoop集群。4. 开启mysql服务。

2023-11-24 09:22:59 246

原创 spark环境搭建

1. 将Spark安装包解压到指定路径/usr/spark/spark-2.4.3-bin-hadoop2.7（安装包存放于/usr/package277/）2. 文件/etc/profile中配置环境变量SPARK_HOME，将Spark安装路径中的bin目录加入PATH系统变量，注意生效变量。修改spark安装路径下的 /usr/spark/spark-2.4.3-bin-hadoop2.7/conf/slaves。3. 修改配置文件spark-env.sh，设置主机节点为master。

2023-11-24 09:11:22 105