如何查询Azure Data Lake?
How to query Azure Data Lake?
来自数据库世界,当我们有与数据相关的东西时,我们使用 ui 工具来查询数据。不管大还是小。
是否有类似 SSMS、SQL WorkBench(用于大数据 Redshift)、用于 Azure Data Lake 的 Athena(查询大数据 S3)之类的东西?
我看到 Data Lake Analytics 只是查询数据并将其存储在文件中。有没有办法通过 UI 工具或基于 Web 的工具查询 Azure Data Lake 上的数据?
不(还)没有。当然,您可以 运行 使用门户或使用 Visual Studio (docs) or Visual Studio Code (docs) 进行查询,但所有这些工具都将提供对生成文件的访问权限(可以轻松获取或预览)
主要原因是 u-sql/数据湖分析适合长时间 运行ning 作业(可能需要几分钟到几小时)来处理大量数据.牢记这一点,您有望更好地理解为什么这些直接查询工具(还?)不可用。
编辑:尝试在反馈网站上投票 this。你问的是一个非常需要的功能。
您可以在指向数据湖的 SQL 服务器中创建外部 table Files.Only 但我们必须手动处理架构更改。
您可以通过 azure databricks 使用 Spark SQL 来查询 Azure Data Lake 文件。
您可以在此处下载 Azure 数据资源管理器表单 https://azure.microsoft.com/en-us/features/storage-explorer/
上传、下载和管理 Azure blob、文件、队列和表,以及 Azure Cosmos DB 和 Azure Data Lake Storage 实体。轻松访问虚拟机磁盘,并使用 Azure 资源管理器或经典存储帐户。管理和配置跨源资源共享规则
来自数据库世界,当我们有与数据相关的东西时,我们使用 ui 工具来查询数据。不管大还是小。
是否有类似 SSMS、SQL WorkBench(用于大数据 Redshift)、用于 Azure Data Lake 的 Athena(查询大数据 S3)之类的东西?
我看到 Data Lake Analytics 只是查询数据并将其存储在文件中。有没有办法通过 UI 工具或基于 Web 的工具查询 Azure Data Lake 上的数据?
不(还)没有。当然,您可以 运行 使用门户或使用 Visual Studio (docs) or Visual Studio Code (docs) 进行查询,但所有这些工具都将提供对生成文件的访问权限(可以轻松获取或预览)
主要原因是 u-sql/数据湖分析适合长时间 运行ning 作业(可能需要几分钟到几小时)来处理大量数据.牢记这一点,您有望更好地理解为什么这些直接查询工具(还?)不可用。
编辑:尝试在反馈网站上投票 this。你问的是一个非常需要的功能。
您可以在指向数据湖的 SQL 服务器中创建外部 table Files.Only 但我们必须手动处理架构更改。
您可以通过 azure databricks 使用 Spark SQL 来查询 Azure Data Lake 文件。
您可以在此处下载 Azure 数据资源管理器表单 https://azure.microsoft.com/en-us/features/storage-explorer/ 上传、下载和管理 Azure blob、文件、队列和表,以及 Azure Cosmos DB 和 Azure Data Lake Storage 实体。轻松访问虚拟机磁盘,并使用 Azure 资源管理器或经典存储帐户。管理和配置跨源资源共享规则