我在 Mapreduce 中执行 wordcount 并在 -copyToLocal 中收到以下错误

Question

hduser@hduser:~$ hdfs dfs -ls /output1

这是我执行的命令找到 2 件商品 -rw-r--r-- 1 hduser 超级组 0 2015-04-20 10:40 /output1/_SUCCESS -rw-r--r-- 1 hduser 超组 0 2015-04-20 10:40 /output1/part-r-00000

但是我的 hduser 中已经有一个 part-r-00000，所以它给出了以下内容 error.Is 有任何方法我可以看到我的字数统计而无需应对本地

hduser@hduser:~$ hdfs dfs -copyToLocal /output1/part-r-00000 .copyToLocal: `part-r-00000': File exists

Answer 1

hduser@hduser:~$ hdfs dfs -copyToLocal /output1/part-r-00000 .copyToLocal: `part-r-00000': File exists

copyToLocal 的语法是hdfs dfs -copyToLocal /hdfs/file/to/be/copied /local/filesystem/path

在终端试试这个：

sudo mkdir /usr/new
sudo chmod -R 777 /usr/new
hdfs dfs -copyToLocal /output1/part-r-00000 /usr/new/part-r-00000

hduser@hduser:~$ hdfs dfs -ls /output1 Found 2 items -rw-r--r-- 1 hduser supergroup 0 2015-04-20 10:40 /output1/_SUCCESS -rw-r--r-- 1 hduser supergroup 0 2015-04-20 10:40 /output1/part-r-00000

在-rw-r--r-- 1 hduser supergroup 0 2015-04-20 10:40 /output1/part-r-00000中，值0表示文件part-r-00000为空。当您从 HDFS 复制一个空文件时，您只会在本地文件系统中得到一个空文件。

Answer 2

以下指令将其存储在您系统的tmp目录中。

sudo -u hdfs hdfs dfs -copyToLocal /output1/part-r-00000 /tmp/

我在 Mapreduce 中执行 wordcount 并在 -copyToLocal 中收到以下错误

I am performing wordcount in Mapreduce and getting the following error in -copyToLocal

hadoop