如何使用 JAVA 获取在 spark 2.3 中写入的行数？

Question

我知道我们可以使用 use count()。但我正在尝试使用 sparkListener 捕获计数。但是我没能为此编写适当的 java 代码。我已经尝试按照此 How to implement custom job listener/tracker in Spark? 中给出的确切方法进行操作 但我无法在 JAVA 中重现它。这是我试过的。

sparkContext.sparkContext().addSparkListener(new SparkListener()
                {
                    @Override
                    private void onTaskEnd(SparkListenerTaskEnd taskEnd){
                        taskEnd.taskInfo().accumulables().name
                    }
                });

但是它会抛出很多与覆盖相关的错误，name.Any 非常感谢您的帮助。谢谢

Answer 1

无法降低从 SparkListener 继承的方法的可见性

将私有覆盖方法更改为 public 代码应该可以工作

sparkContext.sparkContext().addSparkListener(new SparkListener() {
            @Override
            public void onTaskEnd(SparkListenerTaskEnd taskEnd){
                    System.out.println(taskEnd.taskInfo().accumulables());
            }
        });