HDFS API - 统计目录、文件和字节数

Question

如何在 Scala/Java 中以编程方式获取 HDFS 中的 DIR_COUNT、FILE_COUNT、CONTENT_SIZE FILE_NAME？ （不是通过 Shell）

val fileStatus = fileSystem.getFileStatus(new Path(path))
val fileByteSize = fileStatus.getLen

FileSystem API 似乎没有这些信息。我只能得到 1 个文件的文件大小（上面的代码）。但是我没有得到每个目录的文件数和字节大小。

我正在寻找类似的行为：

hdfs dfs -count [-q] <paths>

统计所提供路径下的目录、文件和字节数

Answer 1

您可以使用 FileSystem.listStatus 方法获取有关给定 HDFS 目录中的文件和目录的信息。

您可以使用返回的 FileStatus 个对象数组来计算总大小、文件数等。