HDFS 元数据占用太多 space
HDFS Metadata is taking too much space
我正在尝试使用 Hadoop 将数据从 SQL 数据库迁移到 HBase。但问题是我的数据库在 SQL 中有 70 GB，当我将它传输到 Hadoop 时它需要大约 400 GB。为什么会这样？有什么办法可以减少这个 space used.
如果我有一个SQL 800 GB 数据库的数据，还需要多少磁盘space。
经过大量搜索后，我发现一些结果表明我正在以 Hadoop 的默认格式（即文本格式）存储数据。因此，与其他存储相比，它将消耗大量 space 来存储数据。 Manjunath 也是正确的，因为我们减少了复制因子，它可能会减少存储 space，但也会导致一些问题。有关此主题的更多信息，请参阅下面提到的 link :
我正在尝试使用 Hadoop 将数据从 SQL 数据库迁移到 HBase。但问题是我的数据库在 SQL 中有 70 GB，当我将它传输到 Hadoop 时它需要大约 400 GB。为什么会这样？有什么办法可以减少这个 space used.
如果我有一个SQL 800 GB 数据库的数据，还需要多少磁盘space。
经过大量搜索后，我发现一些结果表明我正在以 Hadoop 的默认格式（即文本格式）存储数据。因此，与其他存储相比，它将消耗大量 space 来存储数据。 Manjunath 也是正确的，因为我们减少了复制因子，它可能会减少存储 space，但也会导致一些问题。有关此主题的更多信息，请参阅下面提到的 link :