多列配置单元上的动态分区

Question

我有一个包含多列的文件，其中两列是年份和月份。我正在尝试根据这两列年份和月份对 table 进行动态分区。

我尝试了以下命令：

load data inpath '/com/data/abc.txt' into table ABC_TABLE partition (year,month);

下面是我得到的异常：

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Invalid partition key & values; keys [year_cd, quarter_num, ], values [])

Answer 1

加载数据时，需要根据列值提及分区的详细信息。请参阅以下语法，由 clouder 提供。

LOAD DATA INPATH 'hdfs_file_or_directory_path' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

这是静态方法。如果您需要动态，请查看 here and practical example here

多列配置单元上的动态分区

Dynamic partition on multiple columns hive

mysql

hadoop

hive