Apache Pig - 从 RCFiles 存储和加载

Question

使用旧版本的 Pig，比如 0.11，是否可以使用 RCFiles read/write 到 hdfs？

我知道 Pig 版本 0.14 支持优化的 RCFiles 即 ORCFiles，但我想坚持使用我当前的 pig 版本即 0.11

Answer 1

来自 Twitter 的 Elephant-Bird 库 (https://github.com/twitter/elephant-bird/) 支持加载和存储 RCFiles

所需的 class 是 RCFilePigStorage（扩展 PigStorage）

https://github.com/twitter/elephant-bird/blob/master/rcfile/src/main/java/com/twitter/elephantbird/pig/store/RCFilePigStorage.java

本库支持 Pig 0.8 及以上版本。