在 HDFS 中存储 Avro 文件

Question

我正在尝试在 HDFS 上存储大量数据。我已经能够使用 Python 生成 Avro 文件。 Avro 是否提供将输出直接存储到 HDFS 的功能？

Answer 1

Avro 是旨在以 avro 格式存储数据的序列化框架，它没有向 HDFS 写入任何内容的智能。

您需要使用 HDFS api 到 upload/write 您的 avros 到 HDFS，在 python 中使用类似的东西，其中 srcPath 是本地 avro，dstPath 在 HDFS

public void uploadToHdfs(String srcPath, String dstPath) throws IOException {
        FileSystem fs = getFileSystem();
        fs.copyFromLocalFile(new Path(srcPath), new Path(dstPath));
}

谢谢

在 HDFS 中存储 Avro 文件

Storing Avro files in HDFS

python

bigdata

hdfs

avro