spark.sql.parquet.writeLegacyFormat：ParquetDecodingException: Can not read value at 0 in block -1 in

最新推荐文章于 2025-01-17 18:36:59 发布

智海观潮

最新推荐文章于 2025-01-17 18:36:59 发布

阅读量3.3k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Spark 大数据文章标签：大数据 spark hive parquet

本文链接：https://blog.csdn.net/qq_42164977/article/details/109525040

大数据同时被 2 个专栏收录

50 篇文章

订阅专栏

Spark

39 篇文章

订阅专栏

本文探讨了在Spark SQL中遇到的ParquetDecodingException问题，特别是在与Hive metastore交互时。文章解释了`spark.sql.parquet.writeLegacyFormat`参数的作用，指出当该参数设置为false时，可能会导致数据以新版Parquet格式写出，从而引发与其他系统（如Hive、Impala）的兼容性问题。解决这个问题的方法是将此参数设置为true，以确保数据以旧版格式写出，兼容其他系统。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

系列二

在此之前可以先阅读文章：SparkSQL与Hive metastore Parquet转换

在说问题之前首先了解一个参数spark.sql.parquet.writeLegacyFormat（默认false）的作用：

设置为true时，数据会以Spark1.4和更早的版本的格式写入。比如decimal类型的值会被以Apache Parquet的fixed-length byte array格式写出，该格式是其他系统例如Hive、Impala等使用的。

设置为false时，会使用parquet的新版格式。例如，decimals会以int-based格式写出。如果Spark SQL要以Parquet输出并且结果会被不支持新格式的其他系统使用的话，需要设置为true。

比如，对于decimal数据类型的兼容处理，不设置true时，经常会报类似如下的错误：

Job aborted due to stage failure: Task 0 in stage 0.0 failed 1 times, most recent failure: Lost task 0.0 in stage 0.0 (TID 0, localhost, executor driver): parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file hdfs://hadoop/data/test_decimal/dt=20200515000000/part-00000-9820eba2-8a40-446d-8c28-37027a1b1f2d-c000.snappy.parquet
  at parquet.hadoop.InternalParquetRecordReader.nextKeyValue(InternalParquetRecordReader.java:228)
  at parquet.hadoop.ParquetRecordReader.nextKeyValue(ParquetRecordReader.java:201)
  at org.apache.hadoop.hive.ql.io.parquet.read.ParquetRecordReaderWrapper.<init>(ParquetRecordReaderWrapper.java:122)
  at org.apache.hadoop.hive.ql.io.parquet.read.ParquetRecordReaderWrapper.<init>(ParquetRecordReaderWrapper.java:85)
  at org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat.getRecordReader(MapredParquetInputFormat.java:72)
...  
Caused by: java.lang.UnsupportedOperationException: parquet.column.values.dictionary.PlainValuesDictionary$PlainLongDictionary
  at parquet.column.Dictionary.decodeToBinary(Dictionary.java:44)
...

此时我们需要将spark.sql.parquet.writeLegacyFormat设置为true来解决上述的异常问题。