无法在 PySpark 中使用日志记录

Question

我正在尝试了解如何在 pyspark 中为 pytest 设置日志记录。但是，以下两种方法都存在错误 TypeError: 'JavaPackage' object is not callable。我在 pycharm 中使用 python 3.7 和 pyspark <2.4.0。能否请你帮忙？非常感谢。

    logger = logging.getlogger('py4j')
    logger.setlevel(logger.WARN)

    log4jLogger = spark.sparkContext._jvm.org.apache.log4j
    log = log4jLogger.logManager.getLogger(__name__)

Answer 1

您引用 Java 对象的方式似乎不正确，请改用此方法

log4jLogger = spark.sparkContext._jvm.org.apache.log4j
logger = log4jLogger.LogManager.getLogger("MyLogger")
logger.setLevel(log4jLogger.Level.DEBUG)

无法在 PySpark 中使用日志记录

Unable to use logging in PySpark

python

logging

pytest

apache-spark

pyspark