有没有办法更改数据处理作业的驱动程序日志输出位置？

Question

我想在作业完成并删除集群后以编程方式访问我的驱动程序日志。我可以将作业和集群 ID 存储在某个地方以便稍后查找，但我认为只告诉 dataproc 将日志存储在一个众所周知的位置会更容易。有什么方法可以覆盖 Spark 作业的驱动程序输出位置吗？

Answer 1

目前不支持，但您可以file a feature request on the public Dataproc issue tracker。

与此同时，您也可以考虑在集群创建时指定自定义 --bucket；在这种情况下，驱动程序输出和其他集群配置文件将进入您指定为集群配置存储桶的任何存储桶，而不是默认的 dataproc-created 存储桶。