LMTX069的博客

hive3.1.3编译

数据治理的范畴、目标以及具体事务

Pycharm配置了SSH服务器和Anaconda的python解释器，如果没有配置可参考。

关于Azkaban和gradle下载，本文编译不限于单机solo模式。

hadoop shell

Greenplum和PostgreSQL的日期时间函数

递归层次查询的orcale 和 hive实现，hive实现主要依赖于支持orcale语法

重启Hive和DBeaver连接

大数据学习网站汇总

目录1.环境准备2.Pycharm连接Hive3.Pycharm执行py脚本3.1SparkSql操作数据的方式3.2一个完整的pyspark脚本1.环境准备需要提前准备Hadoop、Hive、Spark和Anaconda，以及Pycharm连接Linux的Anaconda环境，具体见本人如下相关文章。Hadoop本地单节点安装Linux使用yum安装MysqlHive单节点安装和启用Spark单节点安装与pyspark使用Linux单节点Anaconda安装和Pycharm连接另外，还可以

Spark Local模式环境部署和使用，包含python操作sparksql的使用案例

目录1.Anaconda安装1.1下载1.2安装1.3验证2.环境使用和第三方库(包)安装2.1新环境搭建2.2pyspark安装包pip install3.Pycharm连接3.1解释器添加3.2环境验证1.Anaconda安装1.1下载官方下载Linux版个人下载资源分享1.2安装1.自行上传到Linux系统/opt文件夹下2.执行安装命令按图执行# 安装anacondash Anaconda3-2021.05-Linux-x86_64.sh按图操作直至完成3.重启环境

目录1.Java和Hadoop安装2.MySQL安装3.Hive安装包和依赖包4.Hive安装、配置、启用4.1安装4.2配置4.3初始化数据库4.4查看mysql作为hive的元数据存储是否成功4.5使用hive和beeline1.Java和Hadoop安装见我的另一篇文章 Hadoop3本地单节点安装2.MySQL安装见我的另一篇文章 Linux使用yum安装Mysql3.Hive安装包和依赖包Hive官网下载，懒得下载可白嫖。见免费资源 Hive安装包和依赖包，提取码：o1ms4.Hiv

最简单的傻瓜式安装，如果之前安装但没成功，请按照步骤进行，不要跳，不要跳，不要跳1.MySQL卸载无论rpm还是tar.gz的安装包，先看看自己当前的mysql安装情况rpm -qa|grep mysql2.MySQL安装# 3.mysql安装# mysqk的安装与删除 https://blog.csdn.net/weixin_43102784/article/details/122696078# 3.1下载MySQL（5.7版本）的yum源wget 'https://dev.mysql

Hadoop3本地单节点安装教程

目录一.SQL查询优化的核心思想1.1(内练固本)模型优化——预处理思想1.2(外练强身)技术优化1.2.1表设计优化——好的开端是成功的一半1.2.2查询任务优化——锦上添花二.Hive化实现方案2.1表的设计优化2.1.1表设计优化2.1.2表数据优化2.2模型的设计优化2.3JOB任务优化2.3.1DQL语句——语法编写常识2.3.2Job作业执行优化一.SQL查询优化的核心思想1.1(内练固本)模型优化——预处理思想注：所谓预处理就是提前准备好，形同饭店的备菜环节，应该先把要用到的菜洗、切等

SQL查询优化的核心思想1.模型优化(内练固本)——预处理思想1.1复杂SQL拆分1.2数据合并、可行性和可用性评估2.技术优化(外练强身)2.1表设计优化——好的开端是成功的一半2.2查询任务优化——锦上添花1.模型优化(内练固本)——预处理思想注：所谓预处理就是提前准备好，形同饭店的备菜环节，应该先把要用到的菜洗、切等预处理好，等客人点菜了直接炒就好。预处理环节层层递进，适合复杂任务的拆分处理，简单任务“杀鸡焉用牛刀”。模型设计优化的思路需要在工作中养成，很重要但很难像技术优化那样清晰可见，可能

目录1. Hive建表简单示例1.1.Hive建表语句1.2.表详细信息1.3.数据展示2. Hive建表语法详解3.拓展1：复杂数据分割4.拓展2：事务表1. Hive建表简单示例1.1.Hive建表语句DROP TABLE IF EXISTS employee;CREATE TABLE employee( id bigint comment '编号', region_id int comment '区域ID', name string comment '员工姓名', age int c

写在前面Azkaban单机部署的压缩包白嫖Azkaban单机部署教程1.登录和密码修改Azkaban安装后登录 http://node1:8081/index（node1改为），原始账号：azkaban，密码：azkaban2.新建工程3.立即执行4.设置定时任务...

azkaban-solo-server单机部署一.Azkaban的介绍文档二.下载1.1Azkaban下载1.2依赖下载三.安装2.1Azkaban解压安装2.2配置文件2.3编译一.Azkaban的介绍文档1.Azkaban介绍文档：在 3.0 版本之后，提供了两种模式：独立的“solo-server”模式和分布式多执行器模式。2.文档中提供的克隆git clone https://github.com/azkaban/azkaban.git和 编译./gradlew build installDi