写个数仓吧（13）DWD层以及宽表

最新推荐文章于 2024-07-14 22:40:48 发布

原创

最新推荐文章于 2024-07-14 22:40:48 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

本文介绍了数据仓库建设中DWD层的处理，包括数据过滤、维度退化，以及订单、订单详情、用户、支付流水和商品表的创建。接着详细讲述了DWS层用户行为宽表的构建目的，即聚合用户单日行为，并提供了创建和导入宽表的脚本步骤。同时，讨论了维度退化可能带来的问题，如影响其他业务表的处理难度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DWD层
积压ODS层对数据进行判空过滤。对商品分类表进行维度退化(降维)。
创建订单表

hive (gmall)>
drop table if exists dwd_order_info;
create external table dwd_order_info ( 
    `id` string COMMENT '',
    `total_amount` decimal(10,2) COMMENT '', 
    `order_status` string COMMENT ' 1 2  3  4  5', 
    `user_id` string COMMENT 'id' ,
    `payment_way` string COMMENT '',  
    `out_trade_no` string COMMENT '',  
    `create_time` string COMMENT '',  
    `operate_time` string COMMENT '' 
) COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_order_info/'
tblproperties ("parquet.compression"="snappy")
;

创建订单详情表

hive (gmall)>
drop table if exists dwd_order_detail;
create external table dwd_order_detail( 
    `id` string COMMENT '',
    `order_id` decimal(10,2) COMMENT '', 
    `user_id` string COMMENT 'id' ,
    `sku_id` string COMMENT 'id',  
    `sku_name` string COMMENT '',  
    `order_price` string COMMENT '',  
    `sku_num` string COMMENT '', 
    `create_time` string COMMENT ''
) COMMENT ''
PARTITIONED BY ( `dt` string)
stored as  parquet
location '/warehouse/gmall/dwd/dwd_order_detail/'
tblproperties ("parquet.compression"="snappy")
;

创建用户表

hive (gmall)>
drop table if exists dwd_user_info;
create external table dwd_user_info( 
    `id` string COMMENT 'id',
    `name`  string COMMENT '', 
    `birthday` string COMMENT '' ,
    `gender` string COMMENT '',