使用 Azure 数据工厂复制文件并放置复制文件的 csv
Use Azure Data Factory to copy files and place a csv of files copied
我正在尝试在 Azure 数据工厂管道中实现以下流程：
- 将文件从 SFTP 复制到本地文件夹。
- 在本地文件夹中创建一个逗号分隔的文件，其中包含文件列表及其名称
尺码。
第一步很简单，使用 'Copy Data' 步骤，'SFTP' 作为源，'File System' 作为汇。
正在复制文件，但是在这一步的输出中，我没有看到任何文件信息。
我也没有看到使用上一步的数据创建文件的选项。
也许我使用了错误的技术？
我使用 Azure 数据工厂的原因之一是集成运行时，它允许我们有一个固定的 IP 来连接到外部 SFTP。 （更简单的防火墙配置）
有没有办法实现第 2 步？
感谢您的任何见解！
没有 built-in 功能可以实现此目的。
你需要用ADF配合其他服务，我想你先用azure函数检查文件，然后再复制。
结构应该是这样的：
您可以获得文件的大小并将它们保存到csv文件中：
获取文件大小(python):
并使用 pandas 将消息保存为 csv(python):
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_csv.html
Writing a pandas DataFrame to CSV file
azure 函数的简单 http 触发器(python):
(把处理逻辑放在azure函数体内，基本上除了图形界面和一些不支持的东西，你可以在azure函数体内做任何你想做的事情。你可以选择你的语言熟悉，但总之，ADF中没有一个功能能满足你的想法。）
我正在尝试在 Azure 数据工厂管道中实现以下流程：
- 将文件从 SFTP 复制到本地文件夹。
- 在本地文件夹中创建一个逗号分隔的文件，其中包含文件列表及其名称 尺码。
第一步很简单，使用 'Copy Data' 步骤，'SFTP' 作为源，'File System' 作为汇。
正在复制文件，但是在这一步的输出中，我没有看到任何文件信息。
我也没有看到使用上一步的数据创建文件的选项。
也许我使用了错误的技术？ 我使用 Azure 数据工厂的原因之一是集成运行时，它允许我们有一个固定的 IP 来连接到外部 SFTP。 （更简单的防火墙配置）
有没有办法实现第 2 步？
感谢您的任何见解！
没有 built-in 功能可以实现此目的。
你需要用ADF配合其他服务，我想你先用azure函数检查文件，然后再复制。
结构应该是这样的：
您可以获得文件的大小并将它们保存到csv文件中：
获取文件大小(python):
并使用 pandas 将消息保存为 csv(python):
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_csv.html
Writing a pandas DataFrame to CSV file
azure 函数的简单 http 触发器(python):
(把处理逻辑放在azure函数体内，基本上除了图形界面和一些不支持的东西，你可以在azure函数体内做任何你想做的事情。你可以选择你的语言熟悉，但总之，ADF中没有一个功能能满足你的想法。）