基于Flink SQL实现数据同步

最新推荐文章于 2025-06-12 09:52:41 发布

原创

最新推荐文章于 2025-06-12 09:52:41 发布 · 873 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#flink #sql #大数据

本文介绍了如何将Hive中的展会数据表结构转换为MongoDB和Elasticsearch格式，并通过Flink实现Hive至MongoDB和Elasticsearch的实时同步，包括创建Hive表、Flink-Mongo映射表以及Hive展商表到Elasticsearch的映射和同步操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Hive至Mongo

1.1 创建 Hive 展会表

CREATE EXTERNAL TABLE `app_exhibition`(
  `journal_id` string COMMENT '历届展会Id', 
  `exh_id` string COMMENT '展会维度Id', 
  `exhibit_desc` string COMMENT '展会介绍', 
  `exhibit_scope` string COMMENT '展品范围', 
  `hall_id` array<string> COMMENT '展馆Id', 
  `journal_class_code` string COMMENT '展会分类(code码)', 
  `journal_country` string COMMENT '展会地区（国家）', 
  `journal_province` string COMMENT '展会地区（省）', 
  `journal_city` string COMMENT '展会城市（市）', 
  `journal_address` string COMMENT '展会地址', 
  `journal_year` string COMMENT '展会年份', 
  `journal_sd` timestamp COMMENT '展会开始时间', 
  `journal_ed` timestamp COMMENT '展会结束时间', 
  `journal_logo` string COMMENT '展会logo', 
  `journal_month` string COMMENT '展会月份', 
  `journal_name` string COMMENT '展会名称', 
  `journal_web` string COMMENT '展会官网', 
  `journal_name_en` string COMMENT '展会英文名称', 
  `journal_name_brief` string COMMENT '展会简称', 
  `contact` string COMMENT '联系人(展会主办的信息)', 
  `contact_phone` string COMMENT '联系人电话(展会主办的信息)', 
  `industry_code` string COMMENT '一级行业Code', 
  `sec_industry_code` string COMMENT '二级行业Code', 
  `journal_industry` string COMMENT '展会所属行业', 
  `journal_sponsor` string COMMENT '主办单位', 
  `journal_undertaker` string COMMENT '承办单位', 
  `journal_home_unit` string COMMENT '主场单位', 
  `data_source` string COMMENT '数据来源', 
  `journal_img` string COMMENT '展会图片', 
  `journal_report` string COMMENT '展会报告',