下载文件 (databricks/driver)
Download files (databricks/driver)
我试图下载通过 pandas 生成的 excel 文件,但我找不到它...我知道它在文件中:/databricks/driver 但我可以下载...
是否可以转入存储或转入我本地的机器?
我试过了,没用。
dbutils.fs.cp('file:/databricks/driver/test.xlsx','dbfs:/mnt/datalake/test.xlsx')
注意:使用 Databricks GUI,您可以下载完整结果(最多 100 万行)。
或
使用 Databricks CLI:
要下载完整结果(超过 100 万),首先将文件保存到 dbfs,然后使用 Databricks CLI 将文件复制到本地计算机,如下所示。
dbfs cp "dbfs:/FileStore/tables/AA.csv" "A:\AzureAnalytics"
DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开一个易于使用的命令行界面。使用此客户端,您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如:
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
参考: Installing and configuring Azure Databricks CLI
我试图下载通过 pandas 生成的 excel 文件,但我找不到它...我知道它在文件中:/databricks/driver 但我可以下载...
是否可以转入存储或转入我本地的机器?
我试过了,没用。
dbutils.fs.cp('file:/databricks/driver/test.xlsx','dbfs:/mnt/datalake/test.xlsx')
注意:使用 Databricks GUI,您可以下载完整结果(最多 100 万行)。
或
使用 Databricks CLI:
要下载完整结果(超过 100 万),首先将文件保存到 dbfs,然后使用 Databricks CLI 将文件复制到本地计算机,如下所示。
dbfs cp "dbfs:/FileStore/tables/AA.csv" "A:\AzureAnalytics"
DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开一个易于使用的命令行界面。使用此客户端,您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如:
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
参考: Installing and configuring Azure Databricks CLI