如何在 spark-submit 中设置 -javaagent

Question

我使用面向方面的编程在 Java Maven 项目中进行日志记录。

虽然运行通过 eclipse 连接它，但我必须在 vmargs 中初始化 javaagent，如下所示：

    -javaagent:lib/aspectjweaver-1.9.1.jar

现在我想把生成的jar提交给Spark worker。我已经写了一个 shell 脚本来做到这一点。我可以运行但无法初始化 javaagent。

export SPARK_PATH=/xyz
export SPARK_URL=spark://abc:0000
export JAVA_OPTS="$JAVA_OPTS -javaagent:../aspectweaver-1.9.1.jar"
$SPARK_PATH/spark-submit --master $SPARK_URL  --jars  --class com.main.index ../index-0.0.1-SNAPSHOT.jar

我已经尝试了很多例子，比如设置 JAVA_OPTS 和 CATALINE_OPTS，创建 spark-env.sh 并设置它。但是 none 这行得通。最近 3 天一直在挣扎。

我在 Whosebug 上检查了几个类似的问题，但是 none 对设置 javaagent 很有帮助。帮助。

谢谢。

编辑：

我正在检查是否使用以下代码在代码中初始化了 javaagent：

try {
            org.aspectj.weaver.loadtime.Agent.getInstrumentation();
        } catch (NoClassDefFoundError | UnsupportedOperationException e) {
            System.out.println(e);
        }

我收到 NoClassDefFoundError。得出的结论是未设置 javaagent。

Answer 1

我得到了答案，我不得不使用“--driver-java-options”。以下是更新后的脚本。

$SPARK_PATH/spark-submit --master $SPARK_URL --driver-java-options "-javaagent:../aspectjweaver-1.9.1.jar" --class com.main.index ../index-0.0.1-SNAPSHOT.jar ""

如何在 spark-submit 中设置 -javaagent

How to set -javaagent in spark-submit

shell

sh

jvm-arguments

javaagents

apache-spark