复制方案如何在 hadoop3.x 中工作?

How scheme of Replication works in hadoop3.x?

根据我对 Hadoop 的理解-3.x他们引入了对 Microsoft Azure Data Lake 文件系统的支持并且复制方案已更改。这些只是主要功能吗,他们作为 hadoop 的一部分引入的任何其他新功能吗?3.x.?

以及复制方案如何在 Hadoop 中工作-3.x

Hadoop 3.0 将采用纠删码代替复制,消耗相对较少的存储space,同时提供相同级别的容错。

Hadoop 3x 复制方案导致 200% 的额外存储 space 和资源开销。

详情请参考“HDFS Erasure Coding”。

要了解 HDFS 纠删码的工作原理, 参考:“Introduction to HDFS Erasure Coding in Apache Hadoop”。