如何配置 flink 来理解 Azure Data Lake 文件系统?

how to configure flink to understand the Azure Data Lake file system?

我正在使用 flink 从 Azure 数据中读取数据 lake.But flink 无法找到 Azure 数据湖文件系统。如何配置 flink 以理解 Azure 数据湖文件 system.Could 有人指导我吗?

Flink 能够连接到任何 Hadoop 兼容文件系统(即实现 org.apache.hadoop.fs.FileSystem)。解释见这里:https://ci.apache.org/projects/flink/flink-docs-release-0.8/example_connectors.html

在核心-site.xml中,您应该添加特定于 ADLS 的配置。您还需要 Flink 代理 运行 所在的 class 路径中的 ADL jar。

除了适用于 Flink 之外,它与本博客中概述的概念基本相同。 https://medium.com/azure-data-lake/connecting-your-own-hadoop-or-spark-to-azure-data-lake-store-93d426d6a5f4