在 HDFS 中创建 zip 表

Question

我试过创建 table 不是这样的 zip。

CREATE TABLE example_table (|   a BIGINT,    b BIGINT,    v STRING,   d TINYINT   )  STORED AS TEXTFILE  LOCATION /path/to/directory/

它不是 zip table。我还想用 zip 创建新的 table 以获取此 table 的历史记录。我怎样才能用 zip 创建 1 table？

Answer 1

首先设置以下属性

SET hive.exec.compress.output=true;
SET mapred.output.compression.type=BLOCK;
set mapred.output.compress=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

现在将数据插入备份table

INSERT INTO backup_table select * from example_table

现在数据将转换为 Gzip 格式

在 HDFS 中创建 zip 表

Create zip tables in HDFS

hadoop

mapreduce

hdfs

hadoop-partitioning

impala