CSVExcelStorage 不跳过 header 猪

Question

我试图在将 CSV 文件加载到 Pig 时跳过 header。

REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar;
define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage; 

transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage(',','NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER')

但是当我转储 transactions 时，我也得到了 header。我使用 Apache Pig 0.15 谢谢

Answer 1

以上问题的解决方法是 --> 定义 CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage(',', 'NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER');。 --> 事务 = 加载 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' 使用 CSVExcelStorage();

我发现定义 UDF 别名的传统方法在这种情况下不起作用。

CSVExcelStorage 不跳过 header 猪

CSVExcelStorage not skipping header with pig

hadoop

apache-pig