如何查看 AWS Glue Spark UI
How to view AWS Glue Spark UI
在我的 Glue 作业中，我启用了 Spark UI 并指定了 Spark UI 工作所需的所有必要细节（s3 相关等）。
如何查看我的 Glue 作业的 DAG/Spark UI？
您需要设置一个可以托管历史服务器的 ec2 实例。
以下文档包含指向您可以使用的 CloudFormation 模板的链接。
https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html
您可以通过 ec2 实例访问历史服务器（默认为 18080）。您需要适当地配置网络和端口。
编辑 - 还有一个选项可以在本地设置 SparkUI。这需要从 aws-glue-samples repo 下载 docker 图像，并在那里设置 AWS 凭证和 s3 位置。该服务器使用粘合作业生成的文件。这些文件大约有 4MB。
在我的 Glue 作业中，我启用了 Spark UI 并指定了 Spark UI 工作所需的所有必要细节（s3 相关等）。
如何查看我的 Glue 作业的 DAG/Spark UI？
您需要设置一个可以托管历史服务器的 ec2 实例。
以下文档包含指向您可以使用的 CloudFormation 模板的链接。 https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html
您可以通过 ec2 实例访问历史服务器（默认为 18080）。您需要适当地配置网络和端口。
编辑 - 还有一个选项可以在本地设置 SparkUI。这需要从 aws-glue-samples repo 下载 docker 图像，并在那里设置 AWS 凭证和 s3 位置。该服务器使用粘合作业生成的文件。这些文件大约有 4MB。