如何将 Azure 数据流输出动态放置在以日期命名的文件夹中

Question

我在输出 json 文件的管道中有一个数据流。每次运行时，我都希望将 json 文件放置在一个文件夹中，该文件夹动态命名为当前时间戳，直到文件夹管道的第二个时间戳为 运行。我尝试在输出数据集 dataset folderpath setup screenshot 的文件路径设置中放置一个 utcNow 函数。但是我得到一个

“无法通过名称中包含冒号的 WASB 创建”错误。

尽管我之前通过Azure 存储创建过名称中包含冒号的文件夹。请帮忙。

Answer 1

我测试了在数据流中使用冒号和表达式设置文件夹名称。

无论我们用冒号或表达式设置文件夹名称，我们都会得到错误：

{"StatusCode":"DFExecutorUserError","Message":"Job failed due to reason: JSON parsing error, unsupported encoding or multiline","Details":"at Sink 'sink1': org.apache.spark.SparkException: Job aborted."}

根据错误信息，数据流中不支持带冒号的文件夹名称和表达式函数。

它仅适用于复制活动接收器数据集。