PigStorage 多字节字段分隔符

Question

需要一个 StoreFunc 实现，允许 PIG 将字段定界符作为多个字节，例如 - ^^ (\u005E\u005E)

尝试了所有这些但没有成功 -

store B into '/tmp/test/output'  using PigStorage('\u005E\u005E');
store B into '/tmp/test/output'  using PigStorage('^^');
store B into '/tmp/test/output'  using PigStorage('\^\^');

是否有像 LoadFunc 实现 org.apache.pig.piggybank.storage.MyRegExLoader 这样的 StoreFunc 可以在写入时采用正则表达式作为字段分隔符的现有实现？

Answer 1

通过对第一个分隔符使用 CONCAT 并对第二个分隔符使用 PigStorage 语法解决了这个问题

PigStorage 多字节字段分隔符

PigStorage multibyte field separator

hadoop

apache-pig