大数据同盟会的博客

一、Drools安装1、导入相关依赖<dependency> <groupId>org.drools</groupId> <artifactId>drools-compiler</artifactId> <version>7.23.0.Final</version></dependency><dependency> <groupId>org.proj

Table & SQL API 是⼀种关系型 API，用户可以像操作 mysql 数据库表一样的操作数据，而不需要写java 代码完成 Flink Function，更不需要手工的优化 java 代码调优。BatchTableEnvironment (离线批处理Table API)ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();BatchTableEnvironment tEnv = Batch

canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。canal可以记录mysql的binlog的偏移量，对mysql侵入性比较小，支持灵活配置，可以配置输出的存储系统。一、Canal工作原理首先了解一下mysql主备复制原理：（1）master主库将改变记录，发送到二进制文件（binary log）中（2）slave从库向mysql M

业务数据库的实时分析：业务数据库就是MySQL（集群），假设直接在业务数据库中写SQL进行查询，如果复杂的查询（多维度聚合、join、并且数据流比较大）业务数据库的性能就会下降。甚至不能完成正常的业务功能（不能完成普通的业务数据的查询、插入、修改或是性能下降）...

如果数据量大，维度多，用keyBy并不方便，建议写到外部实时数仓里，Clickhouse擅长实时查询，flink擅长实时处理。一、多维度复杂统计（使用Clickhouse）使用是clickhouse的ReplacingMergeTree，可以将同一个分区中，ID相同的数据进行merge，可以保留最新的数据，可以使用这个特点实现Flink + Clickhouse（勉强）实现数据一致性。存在的问题：写入到clickhouse中的数据不能立即merge，需要手动optimize或后台自动合并。解决方案：

一、OpenResty介绍OpenResty 是一个基于 Nginx与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。OpenResty通过汇聚各种设计精良的 Nginx模块，从而将 Nginx有效地变成一个强大的通用 Web 应用平台。，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。简单的说：OpenResty = N

Nginx (engine x) 是一个高性能的负载均衡和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。一、nginx的安装1、下载linux版本安装包，解压2、安装C语言编译器3、安装依赖库yum install -y pcre-devel openssl-devel gcc curl4、重新编译这样，nginx就安装到了 /usr/local/nginx 下5、启动nginx关闭防火墙，访问nginx二、nginx-kafka插件安装使用该插件，

一、数据采集服务

游戏项目更多java、大数据学习面试资料，请扫码关注我的公众号：

一、用户画像：就是为所有用户，生成各类“标签”，比如消费等级（A,B,C），活跃等级(A,B,C)， 流失风险等级（A,B,C），品类偏好 TOP3，活跃事实（月登陆次数，月访问时长）更多java、大数据学习面试资料，请扫码关注我的公众号：...

背景：公司做数据仓库时，管理自己多张表时，需要使用元数据管理系统进行管理。更多java、大数据学习面试资料，请扫码关注我的公众号：

数据仓库理论一和二，主要讲流量域；数据仓库理论三和四，主要讲业务域，即业务库里的数据。

一、星型摸型它是由一个事实表和一组维表组成，每个维表都有一个维作为主键，所有这些维的主键组成事实表的主键。二、雪花模型当有一个或多个维表没有直接连接到事实表上，而是通过其他维表连接到事实表上时，其图解像多个雪花连接在一起，故而称为雪花模型。三、数据仓库数据仓库主要用于数据挖掘和数据分析，辅助领导做决策，（从事业务建模工资比较高）。四、数据仓库和数据库区别1、数据仓库是集成的：将数据原来分散的数据库数据抽取处理的；2、数据仓库的数据一般不需要修改的；3、仓库里的数据是随着时间变化而变化的。

一、数据仓库：一个面向分析、反映历史变化的的数据仓库；中小公司数据量：一天1000万条数据，17G；一个月500G，一年6T数据量；数据仓库技术：1、传统数仓一般是采用关系型数据库；2、大数据领域中：使用HDFS做存储；使用spark 或mapreduce做运算、使用spark sql或者hive做sql引擎；impala既可以做运算又可是做sql引擎；click house即可以做存储，又可以做运算、sql引擎；分层设计：数据仓库中的数据表，往往是分层管理、分层计算的：ODS 层：操

四、DWS 层开发