各个 dataproc 火花日志在哪里？
where are the individual dataproc spark logs?
dataproc spark 作业日志位于何处？我知道 "Logging" 部分下有来自驱动程序的日志，但是执行节点呢？另外，Spark 正在执行的详细步骤记录在哪里（我知道我可以在 Application Master 中看到它们）？我正在尝试调试似乎挂起并且 spark 似乎冻结的脚本。
任务日志存储在/tmp下的每个工作节点上。
可以通过纱线日志聚合将它们收集在一个地方。在集群创建时设置这些属性（通过 --properties 和 yarn: 前缀）：
yarn.log-aggregation-enable=trueyarn.nodemanager.remote-app-log-dir=gs://${LOG_BUCKET}/logsyarn.log-aggregation.retain-seconds=-1
这是一篇讨论日志管理的文章：
https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
更新：以上信息已过时，请参阅 Dataproc YARN container logs location 了解最新信息。
dataproc spark 作业日志位于何处？我知道 "Logging" 部分下有来自驱动程序的日志，但是执行节点呢？另外，Spark 正在执行的详细步骤记录在哪里（我知道我可以在 Application Master 中看到它们）？我正在尝试调试似乎挂起并且 spark 似乎冻结的脚本。
任务日志存储在/tmp下的每个工作节点上。
可以通过纱线日志聚合将它们收集在一个地方。在集群创建时设置这些属性（通过 --properties 和 yarn: 前缀）：
yarn.log-aggregation-enable=trueyarn.nodemanager.remote-app-log-dir=gs://${LOG_BUCKET}/logsyarn.log-aggregation.retain-seconds=-1
这是一篇讨论日志管理的文章：
https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/
更新：以上信息已过时，请参阅 Dataproc YARN container logs location 了解最新信息。