已安装 Spark 但未找到命令 'hdfs' 或 'hadoop'
Spark installed but no command 'hdfs' or 'hadoop' found
我是 pyspark 的新用户。
我刚刚下载并安装了一个 spark 集群 ("spark-2.0.2-bin-hadoop2.7.tgz")
安装后我想访问文件系统（将本地文件上传到集群）。但是当我尝试在命令中输入 hadoop 或 hdfs 时，它会说 "no command found".
我要安装 hadoop/HDFS（我以为它是内置在 spark 中的，我不明白）？
提前致谢。
您必须先安装hadoop 才能访问HDFS。
关注这个http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
从apache 站点选择最新版本的hadoop。
完成 hadoop 设置后，去 spark http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz 下载这个，提取文件。在 spark-env.sh.
中设置 java_home 和 hadoop_home
您在 类路径 上没有 hdfs 或 hadoop 所以这就是您收到消息的原因："no command found"。
如果你 运行 \yourparh\hadoop-2.7.1\bin\hdfs dfs -ls / 它应该可以工作并显示根内容。
但是，您可以将 hadoop/bin（hdfs、hadoop ...）命令添加到类路径，如下所示：
export PATH $PATH:$HADOOP_HOME/bin
其中 HADOOP_HOME 是您的环境。路径为 hadoop installation folder (download and install is required)
的变量
我是 pyspark 的新用户。 我刚刚下载并安装了一个 spark 集群 ("spark-2.0.2-bin-hadoop2.7.tgz") 安装后我想访问文件系统（将本地文件上传到集群）。但是当我尝试在命令中输入 hadoop 或 hdfs 时，它会说 "no command found".
我要安装 hadoop/HDFS（我以为它是内置在 spark 中的，我不明白）？
提前致谢。
您必须先安装hadoop 才能访问HDFS。 关注这个http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
从apache 站点选择最新版本的hadoop。 完成 hadoop 设置后，去 spark http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz 下载这个，提取文件。在 spark-env.sh.
中设置 java_home 和 hadoop_home您在 类路径 上没有 hdfs 或 hadoop 所以这就是您收到消息的原因："no command found"。
如果你 运行 \yourparh\hadoop-2.7.1\bin\hdfs dfs -ls / 它应该可以工作并显示根内容。
但是，您可以将 hadoop/bin（hdfs、hadoop ...）命令添加到类路径，如下所示：
export PATH $PATH:$HADOOP_HOME/bin
其中 HADOOP_HOME 是您的环境。路径为 hadoop installation folder (download and install is required)