Presto SQL 常见报错汇总

原创已于 2023-03-02 13:46:53 修改 · 3.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#sql #presto

于 2023-03-02 13:43:50 首次发布

大数据动物园同时被 2 个专栏收录

95 篇文章

订阅专栏

Presto

9 篇文章

订阅专栏

文章描述了在处理数据时遇到的类型转换问题，特别是当尝试将超过整数范围的值（如-61792617943）转换为int类型时，会导致`Outofrangeforinteger`和`ArithmeticException`。另外，提到了写入时字段类型不匹配的错误，以及Python中使用PyHive进行类型转换时遇到的问题。文章还提及了因表结构变更导致的Sqoop空指针异常，强调了数据验证和类型匹配的重要性。

1.字段类型转换问题 cast

{‘message’: ‘Out of range for integer: -61792617943’, ‘errorCode’: 19, ‘errorName’: ‘NUMERIC_VALUE_OUT_OF_RANGE’, ‘errorType’: ‘USER_ERROR’, ‘failureInfo’: {‘type’: ‘com.facebook.presto.spi.PrestoException’, ‘message’: ‘Out of range for integer: -61792617943’, ‘cause’: {‘type’: ‘java.lang.ArithmeticException’, ‘message’: ‘integer overflow’, ‘suppressed’: [], ‘stack’: [‘java.lang.Math.toIntExact(Math.java:1011)’, ‘com.facebook.presto.type.BigintOperators.castToInteger(BigintOperators.java:194)’
此报错说明sql中 cast(xx as int) 类型转换错误，原字段超过了int范围-2^31 (-2,147,483,648) 到 2^31 - 1 (2,147,483,647) -61792617943，排查时 where xx = -61792617943

如果是写入时字段类型不匹配，不会报上面的错，而是下面
‘errorCode’: 1, ‘errorName’: ‘SYNTAX_ERROR’, ‘errorType’: ‘USER_ERROR’, ‘failureInfo’: {‘type’: ‘com.facebook.presto.sql.analyzer.SemanticException’, ‘message’: ‘Insert query has mismatched column types: Table: [varchar, date],Query: [varchar, varchar]’

注意类型转换 Cannot cast，2 是2位，长度是2，有脏数据，排查代码中类型转换且原字符串长度是2的地方
pyhive.exc.DatabaseError: {‘message’: “Cannot cast ‘*2’ to INT”, ‘errorCode’: 9, ‘errorName’: ‘INVALID_CAST_ARGUMENT’, ‘errorType’: ‘USER_ERROR’, ‘failureInfo’: {‘type’: ‘com.facebook.presto.spi.PrestoException’, ‘message’: “Cannot cast ‘*2’ to INT”

PS:
表结构变更导致的 sqoop 报错空指针 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.NullPointerException