波波鱼头-CSDN博客

原创 Flink处理数据写入mysql（scala实现）

import java.sql.{Connection, DriverManager, PreparedStatement} import org.apache.flink.configuration.Configuration import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction} import org.apache.flink.streaming.api.scala._ /* * 建表

2021-03-24 20:16:02 2122 1

原创 Spark

一、概念什么是Spark？ Spark是一个快速、通用、可扩展的大数据分析引擎。（详见官网：http://spark.apache.org/）简介 1）于2009年诞生于加州大学，采用Scala语言编写。 2） 2010年开源。 3） 2013年6月成为Apache孵化项目。 4） 2014年2月成为Apache顶级项目。特点 : 四个特性是什么？高效性：基于内存的运算，相当于Hadoop的mapreduce的100倍，计算中的结果存在内存中，Spark实现了高效的DAG执行引擎。易

2021-03-24 19:31:53 218

原创 Flink自定义数据源（scala实现）

import org.apache.flink.streaming.api.scala._ case class SensorReading(id: String, timestamp: Long, temperature: Double) //样例类对象 object Sensor { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment

2021-03-24 19:19:37 635

原创如何解决Azkaban中web页面访问失败

如何解决Azkaban中web页面访问失败步骤如下： 1. 细心检查配置文件； 1）进入azkaban web服务器安装目录 conf目录，查看azkaban.properties文件是否正确。 2）在azkaban web服务器安装目录 conf目录，修改azkaban-users.xml 文件，增加管理员用户。 3）进入执行服务器安装目录conf，查看azkaban.properties是否正确。 2. 检查节点是否正常启动； [hadoop@hadoop102 server]$ jps 3601

2021-01-11 22:03:46 5467

原创 Zookeeper

Unit4：大数据技术进阶（Zookeeper）本章节学习目标： 1. 了解zookeeper的概述和架构 2. 掌握集群中各个角色的作用 3. 熟悉zookeeper集群的搭建 4. 掌握内部原理 5. 企业面试真题一、大数据概念 1 概论: zookeeper是什么？ 1， Zookeeper是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题。 2 ，ZooKeeper本质上是一个分布式的小文件存储系统，提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节

2021-01-09 22:58:43 1352 5