如何找到 Parquet 文件在生成时使用的 COMPRESSION_CODEC？

Question

通常在 Impala 中，我们在将数据插入 table 之前使用 COMPRESSION_CODEC，其基础文件为 Parquet 格式。

用于设置COMPRESSION_CODEC的命令：

set compression_codec=snappy;
set compression_codec=gzip;

是否可以通过对Parquet文件进行任何类型的操作来找出使用的压缩编解码器类型？

Answer 1

找到 Impala parquet table 使用的压缩算法的一种方法是通过 parquet-tools。例如，此实用程序与 Cloudera CDH 打包在一起，否则可以从源代码轻松构建。

$ parquet-tools meta <parquet-file>
creator:     impala version 2.13.0-SNAPSHOT (build 100d7da677f2c81efa6af2a5e3a2240199ae54d5)

file schema: schema
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
code:        OPTIONAL BINARY R:0 D:1
description: OPTIONAL BINARY R:0 D:1
value:       OPTIONAL INT32 O:INT_32 R:0 D:1

row group 1: RC:823 TS:20420
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
code:         BINARY GZIP DO:4 FPO:1727 SZ:2806/10130/3.61 VC:823 ENC:RLE,PLAIN_DICTIONARY
description:  BINARY GZIP DO:2884 FPO:12616 SZ:10815/32928/3.04 VC:823 ENC:RLE,PLAIN_DICTIONARY
value:        INT32 GZIP DO:17462 FPO:19614 SZ:3241/4130/1.27 VC:823 ENC:RLE,PLAIN_DICTIONARY

由于通常在 Parquet 中（不是通过 Impala）可以逐列设置压缩，对于每个 parquet 行组，您将看到针对每个列统计信息使用压缩。

Answer 2

您可能还想运行直接在 hdfs 上

hadoop jar parquet-tools-1.11.1.jar meta hdfs://a.parquet

如何找到 Parquet 文件在生成时使用的 COMPRESSION_CODEC？

How to find the COMPRESSION_CODEC used on a Parquet file at the time of its generation?

hadoop

impala

parquet