使用 ADF 将元数据添加到数据湖文件

Add meta data to a data lake file using ADF

Azure 数据工厂 v2 有一个获取元数据 activity，它可以读取存储在 ADLS 中的文件的元数据。它可以在 moves/copies 文件时保留文件的元数据。但是有没有办法使用 ADF 在湖文件上添加或修改元数据？

文件上传后，元数据由数据湖（存储）创建。

这些属性无法更改，除非您将它们删除并重新上传到 Data Lake（或 Stroage）。其他一些人也提出了关于如何在 Stack overflow 中更改此元数据的相同问题。您可以通过搜索轻松找到这些。

但是如果你在Data Lake中修改文件内容，比如增加或删除列，size、columnCount和structure可以改变了。

所以对于“有没有办法使用 ADF 在湖文件上添加或修改元数据？”的问题，答案是否定的，没有。

HTP.

是的，有办法。

您可以使用 Azure Blob 存储 API:

数据湖只是底层 Blob 存储引擎的扩展

因此，您可以在您的管道中连接一个网络 activity 并调用其余的 api 指向您的 blob，它会为您设置元数据。