qq_43325476的博客

SQL的知识点对于大数据来说很重要，这段时间发现自己的sql 掌握不太牢固，就再次自学了一部分。

Kettle的入门笔记

文章目录DDL - 库的操作:one:建库:two:查看库:three:修改库 :four:删除库DDL- 表的操作:one: 建表:two:查看表:three:修改表DML 数据操作语言:one:数据导入:two:数据导出:three:数据清除DDL - 库的操作1️⃣建库1️⃣建库语法CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPE

HIVEMYSQL所有对Linux下MySQL中的User中的表的操作需要刷新一下（刷新特权）flush privileges;启动metastore服务和 hiveserver服务为了防止正常的启动会占用窗口并且打印信息hive --service hiveserver2hive --service metastore改进nohup hive --service hiveserver2 >/opt/module/hive-3.1.2/logs/hiveServer2.lo

Zookeeper自我笔记zookeeper-znode数据节点节点类型解释持久节点(Persistent)默认节点类型，当前会话关闭后，该节点仍存在;只有进行删除节点操作，该节点才会消失;持久化节点可创建子节点;持久顺序节点(Persistent Sequential)同上且该类型节点名后缀为自增数字;持该类型节点可创建子节点;临时节点(Epheneral)当前会话关闭后，该节点会被删除;该类型节点不能创建子节点临时顺序节点(Epheneral Sequen

不用下载的打包工具打包哟

看看你能有多少

MR的总结

从前我们还有着无拘无束的梦想，后来发现，那只是梦，不努力怎敢想。

从前说无惧山海，有九百九十九滴汗水换有你的未来

HDFS理论重难点在前两篇博客大家看了一下，我几乎都是草草结束了。那么今天我们就以上面的水平去面试，肯定不够呀。比如我们一起来看看下面这些问题。HDFS数据流我们上面看完你的操作，知道了你会操作了，既可以使用IDEA连接虚拟机使用，也可以直接使用shell脚本，直接使用虚拟机进行hdfs的数据流操作，那么你知道它是怎样运作的吗？HDFS写数据流程一起来谈谈hdfs写数据的流程吧。先上个图，一起看看。（1）客户端通过Distributed FileSystem（分布式文件系统）模块向NameNo

HDFS的IDEA连接使用上一章我们已经学会了shell操作，这一章其实没有很重要，但是有刀不用和无刀可用是两个概念。本来打算昨天晚上写的，但是昨晚太困了，结果。。。。一上床就打王者去了。开始准备文件：下载Hadoop依赖：Apache Hadoop3.1.0下面这个就自己找链接去了，百度太多了IDEA的安装jdk安装准备Windows关于Hadoop的开发环境3.1 准备Windows关于Hadoop的开发环境1、找到资料目录下的Windows依赖目录，打开：2、配置HAD

一切皆文件，学好仓库才能入门啊

搭建是学习大数据的基础，大家一定要好好的搭建，可以试着多搭建几遍

Hadoop的非集群版搭建

乾坤未定，你我仍需砥砺前行。一是，二知，三版，四高，与吾皆有关。

浅谈什么是大数据有人可能发现了，我这个专栏写的就是大数据，所以我们一起来谈谈大数据。大数据概念百度百科：对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。主要解决的就是海量数据的存储以及海量数据的计算问题。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte = 8bit 1K = 1024By

shell编程概述Shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。注：Centos默认解析器时bashshell脚本入门#!/root/bashecho "hello Word!!"执行：**方式一:**采用bash或sh+脚本的相对路径或绝对路径（不用赋予脚本+x权限）**方式二:**采用输入脚本的绝对路径或相对路径执行脚本（必须具有可执行权限+x）变量系统变量:使用工具查看

众生皆浮云，一切皆文件我来管系统，文件任我玩