如何在 spark 执行器上设置 Python 的优化模式 (-O)？
How do I set Python's optimized mode (-O) on spark executor?
如何在 Spark 从机上的执行器 运行 上设置 python 优化模式（-O 解释器参数）？
（显然 Python 执行程序的解释器是使用此行启动的
val pb = new ProcessBuilder(Arrays.asList(pythonExec, "-m", "pyspark.worker"))
在 org/apache/spark/api/python/PythonWorkerFactory.scala.
但我没有看到设置 -O 标志的方法。）
您不能在 Spark 工作进程上设置 -O。无论如何，此选项几乎没有用。 （参见 What is the use of Python's basic optimizations mode? (python -O)。）
Python 可执行文件由 PYSPARK_DRIVER_PYTHON 或 PYSPARK_PYTHON 环境变量设置（后者为执行程序和驱动程序设置）。您可以创建一个运行 python -O:
的包装器
#!/bin/sh
exec python -O "$@"
并通过设置 PYSPARK_PYTHON=/home/daniel/python_opt.sh 使用此包装器。
如何在 Spark 从机上的执行器 运行 上设置 python 优化模式（-O 解释器参数）？
（显然 Python 执行程序的解释器是使用此行启动的
val pb = new ProcessBuilder(Arrays.asList(pythonExec, "-m", "pyspark.worker"))
在 org/apache/spark/api/python/PythonWorkerFactory.scala.
但我没有看到设置 -O 标志的方法。）
您不能在 Spark 工作进程上设置 -O。无论如何，此选项几乎没有用。 （参见 What is the use of Python's basic optimizations mode? (python -O)。）
Python 可执行文件由 PYSPARK_DRIVER_PYTHON 或 PYSPARK_PYTHON 环境变量设置（后者为执行程序和驱动程序设置）。您可以创建一个运行 python -O:
#!/bin/sh
exec python -O "$@"
并通过设置 PYSPARK_PYTHON=/home/daniel/python_opt.sh 使用此包装器。