将 DataBricks 连接到 Azure Blob 存储

Question

我正在尝试将 Azure Blob 存储容器装载到 DataBricks 实例，虽然装载确实有效，但它似乎没有在使用存储容器。

这是我用来创建坐骑的代码...

storageAccountName = 'x'
blobContainerName = 'files'
storageAccountAccessKey = 'x'

dbutils.fs.mount(
  source = f'wasbs://{blobContainerName}@{storageAccountName}.blob.core.windows.net',
  mount_point = '/mnt/files/',
  extra_configs = {'fs.azure.account.key.' + storageAccountName + '.blob.core.windows.net': storageAccountAccessKey}
)

挂载似乎成功了。

然后我将文件下载到安装位置...

%sh

wget https://www.stats.govt.nz/assets/Uploads/Annual-enterprise-survey/Annual-enterprise-survey-2019-financial-year-provisional/Download-data/annual-enterprise-survey-2019-financial-year-provisional-csv.csv -P /mnt/files/

然后我列出挂载位置中的文件

%sh

ls /mnt/samplefiles/

这确实显示了下载的文件 (annual-enterprise-survey-2019-financial-year-provisional-csv.csv)，但不显示存储帐户中已有的文件，下载的文件也不显示文件每次出现在存储帐户中。

我在这里错过了什么？

Answer 1

我需要将 /dbfs/ 添加到挂载位置。

例如...

ls /dbfs/mnt/samplefiles

将 DataBricks 连接到 Azure Blob 存储

Connecting DataBricks to Azure Blob Storage

azure

azure-storage

python-3.x

databricks

azure-databricks