spark-sql 写入paimon主键表报错 Cannot write nullable values to non-null column

最新推荐文章于 2025-03-18 15:15:38 发布
最新推荐文章于 2025-03-18 15:15:38 发布
阅读量432 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 总结 文章标签： spark sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35515661/article/details/141602297
总结 专栏收录该内容
794 篇文章 ¥99.90 ¥299.90
订阅专栏

报错内容

java.lang.RuntimeException: Cannot write nullable values to non-null column
        at org.apache.paimon.spark.catalyst.analysis.PaimonAnalysis.checkNullability(PaimonAnalysis.scala:126)
        at org.apache.paimon.spark.catalyst.analysis.PaimonAnalysis.$anonfun$schemaCompatible$1(PaimonAnalysis.scala:87)
        at org.apache.paimon.spark.catalyst.analysis.PaimonAnalysis.$anonfun$schemaCompatible$1$adapted(PaimonAnalysis.scala:85)
        at scala.collection.LinearSeqOptimized.forall(LinearSeqOptimized.scala:85)
        at scala.collection.LinearSeqOptimized.forall$(LinearSeqOptimized.scala:82)
        at scala.collection.immuta

了解本专栏 订阅专栏 解锁全文
IcebergBug：The equality field day should be NOT NULL & # Caused by: org.apache.flink.table.api.Vali
Direction_Wind的博客
11-07 398
Could not create a PRIMARY KEY ‘’. Column ‘’ is nullable.
paimon实战 -- paimon表数据写入和查询使用指南
阿华田的博客
12-12 1341
通过设置consumer-id参数，您可以给流作业中的Paimon源表算子赋予一个Consumer ID，其值可以是任意的字符串。Consumer ID第一次创建时，它的起始消费位点根据中的规则确定。后续只要继续使用相同的Consumer ID，即可恢复Paimon表的消费进度。例如，为Paimon源表算子设置名为test-id的Consumer ID的SQL语句示例如下。
使用Spark写入Hive时，报错Cannot write nullable values to non-null column ***
Xuejiujiu的博客
09-29 1158
Cannot write nullable values to non-null column *** spark写入hive时报错无法写入空值
ClickHouse 错误Received from localhost:9000. DB::Exception: Cannot convert NULL value to non-Nullable
80后大叔爱学习
05-04 6130
常见转换错误
Apache Paimon系列之：主键表
zhengzaifeidelushang的博客
03-13 3828
创建表时，可以通过指定字段来指定“sequence.field”来确定更新的顺序，也可以指定“rowkind.field”来确定记录的changelog种类。如果你觉得“lookup”的资源消耗太大，可以考虑使用“full-compaction”的changelog Producer，它可以解耦数据写入和changelog生成，更适合高延迟的场景（例如10分钟） ）。先到达的key会落入旧的bucket，新的key会落入新的bucket，bucket和key的分布取决于数据到达的顺序。
Paimon 与 Spark 的集成（一）
weixin_45906054的博客
11-09 1529
PaimonApache Paimon (incubating) 是一项流式数据湖存储技术，可以为用户提供高吞吐、低延迟的数据摄入、流式订阅以及实时查询能力。Paimon 采用开放的数据格式和技术理念，可以与 ApacheFlink / Spark / Trino 等诸多业界主流计算引擎进行对接，共同推进 Streaming Lakehouse 架构的普及和发展。Paimon x SparkApa...
spark-sql写数据到paimon并同步到hive元数据
青春不流名
09-30 1517
INSERT INTO paimon.my_db.my_table VALUES (1, 'M', 173.5,'北京市朝阳区'), (2, 'G',185, '上海市'), (3, 'cherry', 168.0,'河北省秦皇岛市');备注需要将将paimon-hive-connector-3.1-0.9.0.jar上传到hive的lib目录下/cluster/hive/lib。-- 在已建立的paimon catalog中，建立数据库。-- 向Paimon中写入数据。-- 建立Paimon表。
【Apache Paimon】-- 14 -- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践
欢迎来到我的博客，一起探索代码里的世界！
01-09 1531
【代码】【Apache Paimon】-- Spark 集成 Paimon 之 Filesystem Catalog 与 Hive Catalog 实践。
【Apache Paimon】-- 13 -- 利用 paimon-flink-action 同步 mysql 表数据
欢迎来到我的博客，一起探索代码里的世界！
01-07 891
在Paimon 诞生以前，若 mysql/pg 等数据源的表结构发生变化时，我们有几种处理方式（1）人工通知（比如常规的使用邮件），然后运维人员手动同步到数据仓库中（2）使用 flink 消费 DDL binlog ，然后自动更新 Hive 的外部表和内部表 schema那么现在，有了 Paimon ，我们可以利用其特性，自动识别并同步 DDL 这些变化，并同步至 hive 的 paimon 格式表中。
【Apache Paimon】-- 源码解读之 PaimonSparkSessionExtensions
欢迎来到我的博客，一起探索代码里的世界！
01-15 445
是 Apache Spark 提供的一个配置参数，允许用户通过扩展 Spark 的 SQL 解析器、分析器、优化器和执行计划，来自定义 Spark SQL 的行为。的核心功能是通过扩展 Spark SQL 的各个阶段（解析、分析、优化、执行）来支持 Paimon 的特定功能和优化。，用户可以注册扩展类来修改或增强 Spark SQL 的功能，比如注入自定义解析规则、优化规则、计划策略等。，为 Spark SQL 注入了 Paimon 特定的语法、分析规则、优化器规则和执行策略。扩展的核心是通过实现。
Paimon Catalog 与Spark引擎的表管理
sinat_28649711的博客
03-18 2204
文件系统元数据存储（默认）：元数据和表文件都存储在文件系统中。Hive 元数据存储：元数据存储在 Hive Metastore 中，用户可以直接从 Hive 访问表。JDBC 元数据存储：元数据存储在关系型数据库（如 MySQL、Postgres 等）中。本文详细介绍了如何在 Paimon 中创建和管理 Catalog 和表。通过不同类型的 Catalog，您可以灵活地选择元数据存储方式，并通过 SQL DDL 语句轻松管理表、视图和标签。希望这篇指南能帮助您更好地理解和使用 Paimon 的强大功能。
流数据湖平台Apache Paimon（六）集成Spark之DML插入数据
Maynor的博客
08-07 711
不能将另一个表的可为空列插入到一个表的非空列中。通过tags表可以查询表的标签历史信息，包括基于哪些快照进行标签以及快照的一些历史信息。通过snapshots表可以查询表的快照历史信息，包括快照中发生的记录数。插入的行可以由值表达式或查询结果指定，跟标准的sql语法一致。系统表包含有关每个表的元数据和信息，例如创建的快照和使用的选项。Paimon的批量读取返回表快照中的所有数据。可以通过选项表查询DDL中指定的表的选项信息。通过查询快照表，可以了解该表的提交和过期信息以及数据的时间旅行。
clickhouse中Nullable与非空字段的建表与类型互转
Sojer的读书笔记
03-03 2万+
--2020.3.3 有些表随着业务发展会涉及到增加字段 1、历史数据字段容许为空 2、历史数据字段补全 3、兼容性转换 drop table default.tttt CREATE TABLE default.tttt( id String, name String ) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_...
spark3 本地读hive 1.1.0版本，解决版本兼容问题
z1941563559的博客
10-14 2377
Spark3 读 hive 1.1.0 遇到的问题 Exception in thread "main" org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException: Unable to fetch table test1. Invalid method name: 'get_table_req'; at org.apache.spark.sql.hive.HiveExternalCata
Apache Paimon 使用之 Writing Tables
猫猫爱吃小鱼粮
03-08 1632
Apache Paimon 使用之 Writing Tables
Exception in thread “main“ org.apache.spark.sql.AnalysisException: Cannot write incompatible data to
JIE的博客 --- moon_coder
11-15 6160
开始，Spark SQL 增加了一个安全策略，不对非同类型的数据进行强制转换，然后就会出现这个错误。LEGACY 策略，允许 Spark 进行类型强制转换，只要它是有效的 Cast 操作。STRICT 策略，不允许 Spark 进行任何可能有损精度的转换。修改 Spark 版本到。中发现有这样一个配置。修改策略为 LEGACY。
spark异常 - Null value appeared in non-nullable field
jast
07-24 2754
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): java.lang.NullPointerException: Null valu
Column ‘XXX‘ cannot be null 问题解决方案
热门推荐
weixin_46054799的博客
11-03 4万+
背景 独立测试环境安装了数据库，但安装的版本是mysql 5.7的版本，而研发用的是mysql5.6的版本，在执行某个数据库操作的提示，提示column “xxxx”cannot be null 问题解决 最快速的方法就是直接询问研发，告知是DB问题，因为mysql从哪个版本开始默认的时间这块有改动，需要修改配置； MySQL升级后，在执行sql语句 insert INTO `表名` ( ) VALUES ( ); 时出现错误: #1264 - Out of range value for col
hivesql写入paimon，需要在hive-site.xml配置paimon元数据存储地址配置吗？
最新发布
07-10
首先，用户的问题是：“我想在使用HiveSQL将数据写入Paimon时，是否需要在hive-site.xml中配置Paimon的元数据存储地址？请问HiveSQL 写入 Paimon 配置 hive-site.xml 是否需要设置 Paimon 元数据存储地址？” 这是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas2143

您的打赏是我的动力!!!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值