Pig UDF 在生成新元组时抛出 NullPointerException

Question

我有一个 Pig UDF，它摄取一些数据，然后尝试以最小的方式转换该数据。

my_data = LOAD 'path/to/data' USING SomeCustomLoader();
my_other_data = FOREACH my_data GENERATE MyUDF(COL_1, COL_2, $param1, $param2) as output;
my_final_data = FOREACH my_other_data GENERATE output.NEW_COL1, output.NEW_COL2, output.NEW_COL3;

但是，我不断收到以下错误：

ERROR 0: Exception while executing [POUserFunc (Name: POUserFUnc(udf.MyUDF)[tuple] - scope-38 Operator Key: scope-38) children: null at []]: java.lang.NullPointerException

我的 UDF 获取数据并对其进行转换：

public class MyUDF extends EvalFunc<Tuple> {
    public Tuple exec(Tuple input) throws IOException {
        if (input == null || input.size() == 0)
            return null;

        TupleFactory _factory;

        Long fieldOne;
        String fieldTwo;
        String fieldThree;

        _factory.getInstance();

        try {
            fieldOne = Long.valueOf(input.get(0).toString());
            fieldTwo = input.get(1).toString();
            fieldThree = input.get(2).toString();

            fieldOne = doSomething(fieldOne);
            fieldTwo = doSomething(fieldTwo);
            fieldThree = doSomething(fieldThree);

            return _factory.newTuple(Arrays.asList(fieldOne, fieldTwo, fieldThree));

        } catch (Exception ex) {
            return _factory.newTuple(Arrays.asList("ParseException", "", "", ""));
        }
    }
}

在调用元组工厂之前，我已经调试并确认 fieldOne、fieldTwo 和 fieldThree 确实存在。同样清楚的是，异常被抛出是因为代码到达 catch 块然后抛出这个 NullPointerException 错误。

不清楚的是为什么会发生这种情况。

根据 Pig 文档（Pig 0.14.0 API），我应该可以用相关项目调用 newTuple(java.util.List c)。

我还定义了自己的架构，以确保返回 pig 脚本时类型正确。

Answer 1

有问题的代码没有实例化您的元组实例，因此您不能在不存在的对象上调用该方法。

public class ... {
    TupleFactory _factory;
    public Tuple exec(Tuple input) {
        _factory = TupleFactory.getInstance();
        ...
    }
}

Pig UDF 在生成新元组时抛出 NullPointerException

Pig UDF Throwing NullPointerException When Generating New Tuple

java

nullpointerexception

apache-pig

pig-udf

udf