电商大数据实时数仓

最新推荐文章于 2024-10-15 19:11:20 发布
原创 最新推荐文章于 2024-10-15 19:11:20 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#big data #kafka #数据库 #flink #mysql

本文详细介绍了一个实时数据仓库的搭建过程，包括数据采集、ODS层、DIM层、DWD层及ADS层的具体实现方法，并提供了从MySQL到Kafka再到Flink的数据流转方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实时数据仓库

1、数据采集

1、在mysql中创建数据库gma

2、创建所有的表

init_mysql_table.sql

3、开启canal动态topic功能

vim /usr/local/soft/canal/conf/example/instance.properties

# 监控gma数据库，不同的表发送到表名的topic上

canal.mq.dynamicTopic=gma\…*

4、启动zk 和kafka

5、启动canal

cd /usr/local/soft/canal/bin

./startup.sh

6、导入数据

load_data.sql

2、在flink中构建ods层

1、需要先启动hadoop hive的元数据服务， flink on yarn-session

# 启动hadoop
start-all.sh

# 启动hive元数据服务
nohup hive --service metastore >> metastore.log 2>&1 &

# 启动yarn-session
yarn-session.sh -jm 1024m -tm 1096

2、进入sql-client创建ods层的表

sql-client.sh  embedded

# 创建库
create database gma_ods;
create database gma_dwd;
create database gma_dws;
create database gma_dim;
create database gma_ads;

3、在ods层中创建所有表

ods_mysql_kafka_base_category1.sql
ods_mysql_kafka_base_category2.sql
ods_mysql_kafka_base_category3.sql
ods_mysql_kafka_base_province.sql
ods_mysql_kafka_base_region.sql
ods_mysql_kafka_base_trademark.sql
ods_mysql_kafka_date_info.sql
ods_mysql_kafka_holiday_info.sql
ods_mysql_kafka_holiday_year.sql
ods_mysql_kafka_order_detailr.sql
ods_mysql_kafka_order_info.sql
ods_mysql_kafka_order_status_log.sql
ods_mysql_kafka_payment_info.sql
ods_mysql_kafka_sku_info.sql
ods_mysql_kafka_user_info.sql

4、构建dim层

1、在mysql 中创建gma_dim数据库用于存储维表数据

再mysql中创建gma_dim

4.1、地区维表

1、在flink sql-client中创建jdbc表


-- 在flink中创建sink表

drop table gma_dim.dim_kafka_mysql_region;

CREATE TABLE gma_dim.dim_kafka_mysql_region(
  id bigint,
  name STRING,
  area_code STRING,
  region_name STRING,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://master:3306/gma_dim?useUnicode=true&characterEncoding=UTF-8',
  'table-name' = 'dim_kafka_mysql_region',
  'username' = 'root',
  'password' = '123456'
);

2、在mysql中创建地区维表

-- mysql中创建接收表

CREATE TABLE `dim_kafka_mysql_region` (
  `id` bigint(20) NOT NULL COMMENT 'id',
  `name` varchar(20) DEFAULT NULL COMMENT '省名称',
  `area_code` varchar(20) DEFAULT NULL COMMENT '行政区位码',
  `region_name` varchar(20) DEFAULT NULL COMMENT '大区名',
   PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3、在到flink中创建mysql cdc表

--- 使用mysqlcdc读取维表
--- mysql cdc 只支持读取，不支持写入

drop table gma_dim.dim_kafka_mysql_region_cdc;

CREATE TABLE gma_dim.dim_kafka_mysql_region_cdc(
  id bigint,
  name STRING,
  area_code STRING,
  region_name STRING,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
   'connector' = 'mysql-cdc',
   'hostname' = 'master',
  'port' = '3306',
  'username' = 'root',
  'password' = '123456',
  'database-name' = 'gma_dim',
  'table-name' = 'dim_kafka_mysql_region'
);

4、将项目打包提交到集群中运行

flink run  -c com.shujia.dim.DImKafkaMysqlRegion gma9-1.0.jar
4.2 、商品维度表

1、在flink中创建sink表

-- 在flink中创建sink表

drop table gma_dim.dim_kafka_mysql_sku;

CREATE TABLE gma_dim.dim_kafka_mysql_sku(
    `id` bigint COMMENT 'skuid(itemID)',
    `spu_id` bigint COMMENT 'spuid',
    `price` decimal(10,0)  COMMENT '价格',
    `sku_name` STRING COMMENT 'sku名称',
    `sku_desc` STRING COMMENT '商品规格描述',
    `weight` decimal(10,2)  COMMENT '重量',
    `tm_name` STRING COMMENT '品牌名',
    `category3_name` STRING COMMENT '三级分类id（冗余)',
    `category2_name` STRING COMMENT '二级分类id（冗余)',
    `category1_name` STRING COMMENT '一级分类id（冗余)',
    `sku_default_img` STRING COMMENT '默认显示图片(冗余)',
    `create_time`TIMESTAMP(3)  COMMENT '创建时间',
     PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://master:3306/gma_dim?useUnicode=true&characterEncoding=UTF-8',
  'table-name' = 'dim_kafka_mysql_sku',
  'username' = 'root',
  'password' = '123456'
);

2、在mysql中创建维表

-- mysql中创建接收表

CREATE TABLE `dim_kafka_mysql_sku` (
    `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'skuid(itemID)',
    `spu_id` bigint(20) DEFAULT NULL COMMENT 'spuid',
    `price` decimal(10,0) DEFAULT NULL COMMENT '价格',
    `sku_name` varchar(200) DEFAULT NULL COMMENT 'sku名称',
    `sku_desc` varchar(2000) DEFAULT NULL COMMENT '商品规格描述',
    `weight` decimal(10,2) DEFAULT NULL COMMENT '重量',
    `tm_name` varchar(200) DEFAULT NULL COMMENT '品牌(冗余)',
    `category3_name` varchar(200) DEFAULT NULL COMMENT '三级分类id（冗余)',
    `category2_name` varchar(200) DEFAULT NULL COMMENT '二级分类id（冗余)',
    `category1_name` varchar(200) DEFAULT NULL COMMENT '一级分类id（冗余)',
    `sku_default_img` varchar(200) DEFAULT NULL COMMENT '默认显示图片(冗余)',
    `create_time` datetime DEFAULT NULL COMMENT '创建时间',
    PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

3、在flink创建创建cdc表

drop table gma_dim.dim_kafka_mysql_sku_cdc;
CREATE TABLE gma_dim.dim_kafka_mysql_sku_cdc(
    `id` bigint COMMENT 'skuid(itemID)',
    `spu_id` bigint COMMENT 'spuid',
    `price` decimal(10,0)  COMMENT '价格',
    `sku_name` STRING COMMENT 'sku名称',
    `sku_desc` STRING COMMENT '商品规格描述',
    `weight` decimal(10,2)  COMMENT '重量',
    `tm_name` STRING COMMENT '品牌名',
    `category3_name` STRING COMMENT '三级分类id（冗余)',
    `category2_name` STRING COMMENT '二级分类id（冗余)',
    `category1_name` STRING COMMENT '一级分类id（冗余)',
    `sku_default_img` STRING COMMENT '默认显示图片(冗余)',
    `create_time`TIMESTAMP(3)  COMMENT '创建时间',
     PRIMARY KEY (id) NOT ENFORCED
) WITH (
   'connector' = 'mysql-cdc',
   'hostname' = 'master',
  'port' = '3306',
  'username' = 'root',
  'password' = '123456',
  'database-name' = 'gma_dim',
  'table-name' = 'dim_kafka_mysql_sku'
);

4、将项目打包上传运行

flink run -c com.shujia.dim.DimKafkaMysqlSku  gma9-1.0.jar
4.3、用户维度表

1、在flink sql -client 中创建sink表


drop table gma_dim.dim_kafka_mysql_user_info;
CREATE TABLE gma_dim.dim_kafka_mysql_user_info(
  `id` bigint COMMENT '编号',
  `login_name` STRING COMMENT '用户名称',
  `nick_name` STRING COMMENT '用户昵称',
  `passwd` STRING COMMENT '用户密码',
  `name` STRING COMMENT '用户姓名',
  `phone_num` STRING COMMENT '手机号',
  `email` STRING COMMENT '邮箱',
  `head_img` STRING COMMENT '头像',
  `user_level` STRING COMMENT '用户级别',
  `birthday` DATE COMMENT '用户生日',
  `gender` STRING COMMENT '性别 M男,F女',
  `create_time` TIMESTAMP(3)  COMMENT '创建时间',
   PRIMARY KEY (id) NOT ENFORCED
) WITH (
  'connector' = 'jdbc',
  'url' = 'jdbc:mysql://master:3306/gma_dim?useUnicode=true&characterEncoding=UTF-8',
  'table-name' = 'dim_kafka_mysql_user_info',
  'username' = 'root',
  'password' = '123456'
);

2、在mysql中创建维度表

CREATE TABLE `dim_kafka_mysql_user_info` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '编号',
  `login_name` varchar(200) DEFAULT NULL COMMENT '用户名称',
  `nick_name` varchar(200) DEFAULT NULL COMMENT '用户昵称',
  `passwd` varchar(200) DEFAULT NULL COMMENT '用户密码',
  `name` varchar(200) DEFAULT NULL COMMENT '用户姓名',
  `phone_num` varchar(200) DEFAULT NULL COMMENT '手机号',
  `email` varchar(200) DEFAULT NULL COMMENT '邮箱',
  `head_img` varchar(200) DEFAULT NULL COMMENT '头像',
  `user_level` varchar(200) DEFAULT NULL COMMENT '用户级别',
  `birthday` date DEFAULT NULL COMMENT '用户生日',
  `gender` varchar(1) DEFAULT NULL COMMENT '性别 M男,F女',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=153 DEFAULT CHARSET=utf8 COMMENT='用户维表';

3、在flink中创建cdc 表

-- 创建flink cdc 维表, 不能作为sink表，只能作为source


drop table gma_dim.dim_kafka_mysql_user_info_cdc;
CREATE TABLE gma_dim.dim_kafka_mysql_user_info_cdc(
  `id` bigint COMMENT '编号',
  `login_name` STRING COMMENT '用户名称',
  `nick_name` STRING COMMENT '用户昵称',
  `passwd` STRING COMMENT '用户密码',
  `name` STRING COMMENT '用户姓名',
  `phone_num` STRING COMMENT '手机号',
  `email` STRING COMMENT '邮箱',
  `head_img` STRING COMMENT '头像',
  `user_level` STRING COMMENT '用户级别',
  `birthday` DATE COMMENT '用户生日',
  `gender` STRING COMMENT '性别 M男,F女',
  `create_time` TIMESTAMP(3)  COMMENT '创建时间',
   PRIMARY KEY (id) NOT ENFORCED
) WITH (
   'connector' = 'mysql-cdc',
   'hostname' = 'master',
  'port' = '3306',
  'username' = 'root',
  'password' = 'MyNewPass4!',
  'database-name' = 'gma_dim',
  'table-name' = 'dim_kafka_mysql_user_info'
);

4、提交代码运行

flink run -c com.shujia.dim.DimKafkaMysqlUserInfo  gma9-1.0.jar

5、dwd 层

5.1、支付订单明细表

1、在flink中创建支付订单明细表

-- ---------------------------------
-- DWD层,支付订单明细表dwd_paid_order_detail
-- ---------------------------------
CREATE TABLE gma_dwd.dwd_paid_order_detail
(
  detail_id BIGINT COMMENT '编号',
  order_id BIGINT COMMENT '订单编号',
  user_id BIGINT COMMENT '用户id',
  province_id INT COMMENT '地区',
  sku_id BIGINT COMMENT 'sku_id',
  sku_num INT COMMENT '购买个数',
  order_price DECIMAL(10,0) COMMENT '购买价格(下单时sku价格）',
  create_time TIMESTAMP(0) COMMENT '创建时间',
  payment_way STRING COMMENT '付款方式',
  pay_time TIMESTAMP(0) COMMENT '支付时间'
 ) WITH (
    'connector' = 'kafka',
    'topic' = 'gma_dwd.dwd_paid_order_detail',
    'properties.bootstrap.servers' = 'master:9092,node1:9092,node2:9092',
    'format' = 'changelog-json'
)

2、启动程序

flink run -c com.shujia.dwd.DwdPaidOrderDetail gma9-1.0.jar

6、ads 层

6.1、省指标

1、在flink中创建表

-- ---------------------------------
-- 使用 DDL创建MySQL中的ADS层表
-- 指标：1.每天每个省份的订单数
--      2.每天每个省份的订单金额
-- ---------------------------------


CREATE TABLE gma_ads.ads_province_index(
  province_id INT,
  area_code STRING,
  province_name STRING,
  region_name STRING,
  order_amount DECIMAL(10,2),
  order_count BIGINT,
  dt STRING,
  PRIMARY KEY (province_id, dt) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://master:3306/gma_ads?useUnicode=true&characterEncoding=UTF-8',
    'table-name' = 'ads_province_index',
    'driver' = 'com.mysql.jdbc.Driver',
    'username' = 'root',
    'password' = '123456'
)

2、在mysql中创建表

CREATE TABLE `ads_province_index` (
  province_id INT,
   area_code varchar(200),
   province_name varchar(200),
   region_name varchar(200),
   order_amount DECIMAL(10,2),
   order_count bigint(20),
   dt varchar(200),
  PRIMARY KEY (`province_id`,`dt`)
) COMMENT='地区指标表';

3、启动指标计算程序

flink run -c com.shujia.ads.AdsProvinceIndex gma9-1.0.jar
6.2、商品指标

1、在flink中创建表

-- ---------------------------------
-- 使用 DDL创建MySQL中的ADS层表
-- 指标 1.每天每个商品对应的订单个数
--      2.每天每个商品对应的订单金额
--      3.每天每个商品对应的数量
-- ---------------------------------



drop table gma_ads.ads_sku_index;
CREATE TABLE gma_ads.ads_sku_index
(
  sku_id BIGINT,
  weight decimal(10,2),
  tm_name STRING ,
  price decimal(10,2),
  spu_id BIGINT,
  category3_name STRING ,
  category2_name STRING,
  category1_name STRING,
  order_count BIGINT NOT NULL,
  order_amount decimal(10,2),
  sku_count int,
  dt STRING,
  PRIMARY KEY (sku_id,dt) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://node1:3306/gma_ads?useUnicode=true&characterEncoding=UTF-8',
    'table-name' = 'ads_sku_index',
    'driver' = 'com.mysql.jdbc.Driver',
    'username' = 'root',
    'password' = '123456'
)

2、在mysql中创建表

CREATE TABLE `ads_sku_index` (
  sku_id  bigint(20),
  weight decimal(10,2),
  tm_name varchar(200)  ,
  price decimal(10,2),
  spu_id varchar(200) ,
  category3_name varchar(200)  ,
  category2_name varchar(200) ,
  category1_name varchar(200) ,
  order_count  bigint(20),
  order_amount decimal(10,2),
  sku_count  bigint(20),
  dt varchar(200) ,
  PRIMARY KEY (`sku_id`,`dt`)
) COMMENT='商品指标表';

3、启动指标计算任务

flink run -c com.shujia.ads.AdsSkuIndex gma9-1.0.jar

7、提供数据接口

1、修改mysql地址以及用户名密码

com.shujia.gma.controller.ProvinceController

com.shujia.gma.controller.SkuController

2、启动接口服务

com.shujia.gma.GmaApiApplication

3、访问接口

localhost:8080/getSkuIndex?&id=1&day=2019-11-23

localhost:8080/getProvinceIndex?&id=1&day=2019-11-23

8、监控

8.1 部署prometheus （底层TSDB ,时序数据库）

1、上传解压修改配置文件

vim prometheus.yml

# 在最后增加配置

  - job_name: 'pushgateway'
    scrape_interval: 10s
    honor_labels: true
    static_configs:
     - targets: ['localhost:9091']
       labels:
        instance: pushgateway

2、启动prometheus

nohup ./prometheus  &
8.2 部署pushgateway

1、上传解压启动

nohup ./pushgateway &
8.3 然后在 Flink 的配置⽂件中添加:
cd /usr/local/soft/flink-1.11.2/conf
vim flink-conf.yaml

# 增加配置
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: master # promgateway 地址
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: shujia
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: false
8.4、重启flink yarn session 启动flink任务
8.5访问页面查看指标

http://master:9091/

8.6 部署Grafana

上传解压启动

./grafana-server

访问页面 用户名：admin 密码: admin

http://master:3000/dashboard

增加prometheus 数据源

增加数据表

大数据实时数仓Hologres（四）：基于Flink+Hologres搭建实时数仓
Lansonli（蓝深李）的博客
10-01 3651
在Flink开发平台，新建名为DWD的SQL流作业，并将如下代码拷贝到SQL编辑器后，部署并启动作业。创建Catalog时可以设置默认的源表、维表和结果表的WITH参数，也可以设置创建Hologres物理表的默认属性，例如上方table_property开头的参数。a) 在Flink开发平台，新建名为ODS的SQL流作业（步骤与test作业相同，引擎一致），并将如下代码拷贝到SQL编辑器。创建作业后，将如下代码拷贝到test作业的SQL编辑器上，修改目标参数取值后，选中代码片段后单击左侧代码行上的运行。
阿里巴巴电商搜索推荐实时数仓演进之路
阿里云云栖号
09-03 1583
简介：自建实时数仓难在哪里？实时数仓应该怎么建？阿里巴巴搜索团队用实战经验告诉您答案！ 作者：张照亮（士恒）阿里巴巴搜索事业部高级技术专家 1. 业务背景 阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团淘宝、淘宝特价版、饿了么等多个电商业务的实时数仓场景，提供了包括实时大屏、实时报表、实时算法训练、实时A/B实验看板等多种数据应用支持。 数据的价值 我们认为数据处于阿里巴巴搜索推荐的大脑位置，这体现在算法迭代、产品运营和老板决策等多个方面。那么数据是怎样在搜索推荐业务场景中流转的呢？首先是.
大数据技术之实时数仓
HB15458755的博客
08-31 700
第1章 环境准备 1.1虚拟机准备 克隆三台虚拟机（hadoop101、hadoop102、hadoop103），配置好对应主机的网络IP、主机名称、关闭防火墙。 设置hadoop102、hadoop103、hadoop104的主机对应内存分别是：4G、4G、4G 1.2配置免密登录 （1）配置ssh免密登录 [root@hadoop101 ~]# vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4
大数据之实时数仓介绍
代妈炼金术师
01-06 609
不仅能够实时处理，还能够将处理后的结果存储到可扩展且高度可用的数据存储中（如内存数据库、分布式列存数据库或其他专门针对实时查询优化的系统），以便于后续的实时查询和分析。：实时数仓架构能够在数据到达时迅速做出反应，提供近实时的结果反馈，这对于需要立即采取行动的场景至关重要，例如欺诈检测、实时推荐系统、金融交易监控等。总之，实时数仓对于依赖于实时数据分析的企业来说是一个强大的工具，它可以显著提升企业的运营效率、客户体验和市场竞争力。
实时数仓-电商数据仓库系统
kkddd35的博客
03-10 1934
作为集合元素，查询结果的每一行对应一个实体类对象，将所有对象封装到 List 集合中，返回给方法调用者。
最新电商大数据平台项目实战
04-10
03.电商项目之数仓开发规范.mp4 04.电商项目之数仓的数据来源.mp4 12.电商项目之数仓的数据产品服务化讲解.mp4 16.电商项目之Sqoop的Shell脚本编写.mp4 17.电商项目之Azkaban简介.mp4 18.电商项目之Azkaban安装...
电商数仓6.0 电商数仓6.0 电商数仓6.0
最新发布
02-09
随着大数据和人工智能技术的发展，电商数仓6.0也在集成这些新技术。通过应用机器学习算法，数仓可以进行更智能的数据分析，预测市场趋势，甚至为用户推荐个性化的产品和服务，这对于增强用户体验和提升商业价值具有...
大数据电商数仓项目--实战（二）DWD层搭建
m0_73745224的博客
10-15 1162
先将包含action字段的日志过滤出来，然后通过UDTF函数，将action数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。先将包含display字段的日志过滤出来，然后通过UDTF函数，将display数组“炸开”（类似于explode函数的效果），然后使用get_json_object函数解析每个字段。页面日志解析思路：页面日志表中每行数据对应一个页面访问记录，一个页面访问记录应该包含日志中的公共信息和页面信息。我是通过会话设置的，并不是永久的。
大数据电商数仓项目--实战（一）数据准备
m0_73745224的博客
09-27 1857
Hive 引擎包括：默认MR ，tez ，sparkHive on Spark 既作为 存储 元数据 又负责 SQL的解析优化 语法是HQL语法Spark on Hive ：Hive只作为存储元数据，Spark 负责SQL解析优化 语法是Spark SQL语法什么是拉链表：拉链表，记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录，并把当前日期放入生效开始日期。
大数据项目之电商数仓（4可视化报表Superset）V4.0.doc
09-07
【大数据项目之电商数仓（4可视化报表Superset）V4.0】 Apache Superset 是一个强大而开源的商业智能（BI）工具，专为数据分析和可视化设计。它提供了丰富的图表选项，支持自定义仪表板，并能与多种数据源集成，如...
电商行业实时数仓项目1
08-04
1.1 项目背景 1.2 实时数仓转型故事： 1.2.1 离线数仓： 1.2.2 离线数仓分层架构图： 1.2.3 实时计算架构： 1.2.4 流量 1.2.5
Flink电商实时数仓.html
12-21
Flink电商实时数仓.html
大数据真实数仓项目完整版
12-21
大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。
大数据之实时数仓建设（一）
大数据同盟会的博客
03-20 5574
一、数据采集服务
数据仓库之实时数仓
youziguo的专栏
06-15 1189
实时数据仓库（Real-time Data Warehouse, RTDW）是一种能够实时处理和分析数据的系统，旨在满足对低延迟数据处理和分析的需求。与传统的批处理数据仓库不同，实时数据仓库能够持续地接收、处理和存储数据，使用户能够快速获得最新的信息和洞察力。
大数据之实时数仓建设（三）
大数据同盟会的博客
03-31 4643
业务数据库的实时分析： 业务数据库就是MySQL（集群），假设直接在业务数据库中写SQL进行查询，如果复杂的查询（多维度聚合、join、并且数据流比较大）业务数据库的性能就会下降。甚至不能完成正常的业务功能（不能完成普通的业务数据的查询、插入、修改或是性能下降） ...
跨境电商 Shopee 的实时数仓之路
hellozhxy的博客
07-06 1049
导读：本文讲述 Flink 在 Shopee 新加坡数据组 ( Shopee Singapore Data Team ) 的应用实践，主要内容包括： 实时数仓建设背景 Flink 在实时数据数仓建设中结合 Druid、Hive 的应用场景 实时任务监控 Streaming SQL 平台化 Streaming Job 管理 未来规划优化方向 建设背景 Shopee 是东南亚与台湾领航电商平台，覆盖新加坡、马来西亚、菲律宾、台湾、印...
大数据实战之路-实时数仓-实时数仓架构
数据包工头的博客
05-18 912
# 流批一体架构 ## 技术栈 ### 开发语言（三者都可以） * Java * Scala * Python ### 技术选型 * K8s * Debezium * Kafka * Flink (Hdfs, RockDB) * Clickhouse * Doris * ElasticSearch * MySQL * DataX (离线抽取, 主要用于历史，历史数据初始化) ### 批流一体架构 ![批流一体架构](uploads/da3f63914f1ad8f532ae032a5209e04f/批流一.
基于Presto的大数据电商数仓建设详解
大数据项目之电商数仓（4即席查询数据仓库） 本文档主要介绍了大数据项目中的电商数仓，特别是第四代即席查询数据仓库。该项目使用Presto作为主要的查询引擎，以下是相关知识点的总结： **Presto 概念** Presto是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

创作者mateo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值