HDInsight hadoop-mapreduce-examples.jar 输出在哪里?
HDInsight hadoop-mapreduce-examples.jar where is the Output?
我 运行 HDInsight 中的示例 wordcount 应用程序命令 运行 成功,但我找不到输出。
我运行的命令
是
hadoop jar hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /user/joe/WordCountOutput
我期待在文件系统上创建一些东西。但我没有看到 /user/joe/
创建。
请指教
它不在您机器的文件系统中,而是在 Azure blobs. Typically, Hadoop MapReduce uses the Hadoop Distributed File System (HDFS), but as Thomas Jungblut correctly pointed in his comment, Azure blobs has completely replaced HDFS in HDInsight. Still, you should be able to access the output using the hdfs shell commands 上,例如:
hadoop dfs -ls /user/jow/WordCountOutput
也许 HDInsight 提供了更多浏览此文件系统的方法(请参阅 ),但我不熟悉它们,这实际上已经很容易了。
HDInsight 默认使用 Azure blob 存储作为其 HDFS 存储,因此您的输出位于与集群关联的存储帐户中。您可以使用 CloudXplorer 之类的内容轻松读取您的 blob 存储帐户并找到此数据。它将位于 /user/joe/WordCountOutput
下的默认 WABS 容器中
您也可以运行这样的命令来更好地控制输出位置
hadoop jar hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt wabs://<contatiner>@<storageaccount>.blob.core.windows.net/user/joe/WordCountOutput
我 运行 HDInsight 中的示例 wordcount 应用程序命令 运行 成功,但我找不到输出。 我运行的命令 是
hadoop jar hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt /user/joe/WordCountOutput
我期待在文件系统上创建一些东西。但我没有看到 /user/joe/
创建。
请指教
它不在您机器的文件系统中,而是在 Azure blobs. Typically, Hadoop MapReduce uses the Hadoop Distributed File System (HDFS), but as Thomas Jungblut correctly pointed in his comment, Azure blobs has completely replaced HDFS in HDInsight. Still, you should be able to access the output using the hdfs shell commands 上,例如:
hadoop dfs -ls /user/jow/WordCountOutput
也许 HDInsight 提供了更多浏览此文件系统的方法(请参阅
HDInsight 默认使用 Azure blob 存储作为其 HDFS 存储,因此您的输出位于与集群关联的存储帐户中。您可以使用 CloudXplorer 之类的内容轻松读取您的 blob 存储帐户并找到此数据。它将位于 /user/joe/WordCountOutput
下的默认 WABS 容器中您也可以运行这样的命令来更好地控制输出位置
hadoop jar hadoop-mapreduce-examples.jar wordcount /example/data/gutenberg/davinci.txt wabs://<contatiner>@<storageaccount>.blob.core.windows.net/user/joe/WordCountOutput