我们可以拆分一个大的 HDFS 文件夹吗？
Can we split a Big HDFS Folder?
我有一个大约 570 TB 的 hdfs 文件夹，有许多子文件夹，我想拆分一个大约 530 TB 的子文件夹。
您可以使用 hadoop fs -mv（移动）命令来实现同样的效果。
例如假设您具有以下文件夹结构：
/tmp/1GB/
/tmp/2GB/
/tmp/3GB/
现在，您想从 /tmp/ 中拆分 /2GB/ 并将其移动到 /（根文件夹）下。
您所要做的就是：
hadoop fs -mv /tmp/2GB /
现在文件夹结构为：
/2GB/
/tmp/1GB/
/tmp/3GB/
此外，由于 move 只是一个元数据操作，与 copy 操作相比，执行它的成本并不高。
我有一个大约 570 TB 的 hdfs 文件夹，有许多子文件夹，我想拆分一个大约 530 TB 的子文件夹。
您可以使用 hadoop fs -mv（移动）命令来实现同样的效果。
例如假设您具有以下文件夹结构：
/tmp/1GB/
/tmp/2GB/
/tmp/3GB/
现在，您想从 /tmp/ 中拆分 /2GB/ 并将其移动到 /（根文件夹）下。
您所要做的就是：
hadoop fs -mv /tmp/2GB /
现在文件夹结构为：
/2GB/
/tmp/1GB/
/tmp/3GB/
此外，由于 move 只是一个元数据操作，与 copy 操作相比，执行它的成本并不高。