HDFS系统在磁盘上的物理路径在哪里？

Question

我是Hadoop和HBase的初学者，为了学习下载了一个HBase的example project，好像是用MR把已有的数据导入HBase。本例将.txt数据文件放在HDFS这个路径下： /user/root/uid_details.txt ，点击'Import'按钮时，应该将uid_details.txt中的数据导入到HBase中。

问题是，我不知道 /user/root/ 在我的磁盘上的实际物理路径，所以我不知道 uid_details.txt 应该放在我的磁盘上的什么位置。我的 core-site.xml 和 hdfs-site.xml ： Screenshots of core-site.xml and hdfs-site.xml

Answer 1

我猜你是运行本地 VM 中的所有这些命令（其中已经安装了 hadoop 和 hbase）。

尝试运行以下命令找出 hdfs 目录的位置。

hdfs dfs -ls /

它应该列出所有的目录，如果你想创建一些目录，你也可以创建。

然后您可以相应地放置文件并开始导入过程。

有关详细信息，请参阅下文 link

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html

Answer 2

hdfs-site.xml 中的 dfs.datanode.data.dir 配置告诉您文件的物理位置（hdfs-site.xml 配置的详细说明可以在 here.

中找到

因此在您的特定情况下，文件应位于 /usr/local/hadoop_dfs/data 目录中。

Answer 3

您需要使用 hdfs dfs / hadoop fs（或其他 hdfs 客户端）将文件放入 dfs - HDFS 块在磁盘上的位置不会帮助您将文件添加到 HDFS 文件系统 - 例如

hdfs dfs -put /path/to/uid_details.txt /user/root/uid_details.txt

或

hdfs dfs -put /path/to/uid_details.txt hdfs://namenodeaddress/user/root/uid_details.txt

Answer 4

hadoop(hdfs) 中的数据位于 dfs.datanode.data.dir 的本地目录位置（存在于 hdfs-site.xml 中）。但是您无法直接访问此数据（即您可能无法进入目录并查看它）。

hbase数据位于hbase.rootdir中提到的HBASE根目录下。您可以在 hbase-site.xml.

中检查基本目录的位置

HDFS系统在磁盘上的物理路径在哪里？

Where is the physical path of HDFS system on disk?

hadoop

hbase

hdfs