Google Compute Engine 上 Hadoop 中的标准输出
Standard output in Hadoop on Google Compute Engine
我正在尝试在 Google Compute Engine 上的 Hadoop 上调试程序 运行 作为 .jar 文件。我尝试在 reducer 代码中同时使用 System.out.println() 和 context.write() 进行调试输出，但无法在任何地方找到它们的输出。我能找到的唯一日志是 Google 存储桶 gs:/my_bucket/yarn-logs/my_name/logs/application_##### 中的日志和存储在 $hadoop_install_dir$/logs/ 中的本地日志，但其中 none 具有我正在寻找的输出。在以前的日志中，我可以看到我的 log4j 没有正确初始化，但我不确定这是否是问题 and/or 如何解决这个问题。
您应该能够从实际工作节点上的 Map 和 Reduce 任务中找到标准输出，如果您使用 "Click-to-Deploy"，则在 ${HADOOP_INSTALL_DIR}/logs/userlogs/application_*/container*/stdout 下，如果您使用，则在 /hadoop/logs/userlogs/application_*/container*/stdout 下bdutil 部署。
我正在尝试在 Google Compute Engine 上的 Hadoop 上调试程序 运行 作为 .jar 文件。我尝试在 reducer 代码中同时使用 System.out.println() 和 context.write() 进行调试输出，但无法在任何地方找到它们的输出。我能找到的唯一日志是 Google 存储桶 gs:/my_bucket/yarn-logs/my_name/logs/application_##### 中的日志和存储在 $hadoop_install_dir$/logs/ 中的本地日志，但其中 none 具有我正在寻找的输出。在以前的日志中，我可以看到我的 log4j 没有正确初始化，但我不确定这是否是问题 and/or 如何解决这个问题。
您应该能够从实际工作节点上的 Map 和 Reduce 任务中找到标准输出，如果您使用 "Click-to-Deploy"，则在 ${HADOOP_INSTALL_DIR}/logs/userlogs/application_*/container*/stdout 下，如果您使用，则在 /hadoop/logs/userlogs/application_*/container*/stdout 下bdutil 部署。