如何读取箭头镶木地板键值元数据？

Question

当我在 R 和 Python（使用 pyarrow）中保存镶木地板文件时，我得到一个保存在元数据中的箭头模式字符串。

如何读取元数据？它是 Flatbuffer 编码数据吗？架构的定义在哪里？它没有在箭头文档站点上列出。

元数据是一个键值对，如下所示

key: "ARROW:schema"

value: "/////5AAAAAQAAAAAAAKAAwABgAFAAgACgAAAAABAwAEAAAAyP///wQAAAABAAAAFAAAABAAGAAIAAYABwAMABAAFAAQAAAAAAABBUAAAAA4AAAAEAAAACgAAAAIAAgAAAAEAAgAAAAMAAAACAAMAAgABwA…

因为在 R 中写了这个

df = data.frame(a = factor(c(1, 2)))
arrow::write_parquet(df, "c:/scratch/abc.parquet")

Answer 1

架构是 base64 编码的平面缓冲区数据。您可以使用以下代码读取 Python 中的架构：

import base64
import pyarrow as pa
import pyarrow.parquet as pq

meta = pq.read_metadata(filename)
decoded_schema = base64.b64decode(meta.metadata[b"ARROW:schema"])
schema = pa.ipc.read_schema(pa.BufferReader(decoded_schema))

如何读取箭头镶木地板键值元数据？

How to read the arrow parquet key value metadata?

parquet

apache-arrow

pyarrow