Azure 数据工厂 - 将 FTP 递归复制到数据库
Azure Data Factory - Copying FTP recursively to database
我正在尝试将递归放置在 FTP 文件夹中的 csv 文件复制到 Azure 中的 SQL 数据库。我还订阅了 Azure 数据工厂。有人能帮我用最简单的方法来完成这个吗？
我试过的
使用了 Azure 门户中的复制实用程序。它的问题是，它要求我复制到数据库中定义的 table。它可以只从 csv 文件中读取并检测架构并将其直接放入 tables 吗？
尝试使用 .NET sdk。但是我没有直接在天蓝色中看到 ftp 到 sql 数据库的示例。这些示例仅说明如何存储到 blob 存储中。
如果数据库中的 table 已经存在，您可以使用 ADF 从 FTP 复制到 Azure SQL。在此处参考 ADF 文档 https://docs.microsoft.com/en-us/azure/data-factory/tutorial-copy-data-portal。虽然这是一个从 Azure Blob 到 Azure SQL 的教程，但您可以将 FTP 设置为源，其他步骤类似。
但是ADF只能复制到现有的tables，如果table之前不存在，你将不得不写一个sql脚本来创建[=21] =] 在复制之前。您可以将脚本放在 pipeline-copyactivity-sink-"Pre-copy script" 处。复制开始前运行。
Can it just read from the csv files and detect the schema and put it
into tables directly ?
基于 Azure 数据工厂中的 sql database dataset，需要 tableName 属性。所以，如果需要将csv数据转入sql数据库，需要创建相关的表，建立映射关系。
Tried to use .NET sdk. But I don't see an example for ftp to sql
database in azure directly. The examples only tell how to store into a
blob storage.
根据您的要求，我建议您按照以下两个步骤进行操作。
第 1 步：从 ftp to azure blob storage 创建副本 activity。
第 2 步：从 azure blob storage to sql database 创建另一个副本 activity。
您可以将两个 activity 合并为一个流程。
希望对您有所帮助，有任何问题请告诉我。
更新答案：
您仍然需要将 ftp 中的 csv 文件复制到 azure blob storage.If 您有 2 个目标表，只需在 blob 存储中创建两个容器，这样您就可以将文件分成特定的容器。
然后只需在 azure blob 存储数据集中配置容器名称即可。
它会循环容器中的所有文件。
我正在尝试将递归放置在 FTP 文件夹中的 csv 文件复制到 Azure 中的 SQL 数据库。我还订阅了 Azure 数据工厂。有人能帮我用最简单的方法来完成这个吗？
我试过的
使用了 Azure 门户中的复制实用程序。它的问题是，它要求我复制到数据库中定义的 table。它可以只从 csv 文件中读取并检测架构并将其直接放入 tables 吗？
尝试使用 .NET sdk。但是我没有直接在天蓝色中看到 ftp 到 sql 数据库的示例。这些示例仅说明如何存储到 blob 存储中。
如果数据库中的 table 已经存在，您可以使用 ADF 从 FTP 复制到 Azure SQL。在此处参考 ADF 文档 https://docs.microsoft.com/en-us/azure/data-factory/tutorial-copy-data-portal。虽然这是一个从 Azure Blob 到 Azure SQL 的教程，但您可以将 FTP 设置为源，其他步骤类似。
但是ADF只能复制到现有的tables，如果table之前不存在，你将不得不写一个sql脚本来创建[=21] =] 在复制之前。您可以将脚本放在 pipeline-copyactivity-sink-"Pre-copy script" 处。复制开始前运行。
Can it just read from the csv files and detect the schema and put it into tables directly ?
基于 Azure 数据工厂中的 sql database dataset，需要 tableName 属性。所以，如果需要将csv数据转入sql数据库，需要创建相关的表，建立映射关系。
Tried to use .NET sdk. But I don't see an example for ftp to sql database in azure directly. The examples only tell how to store into a blob storage.
根据您的要求，我建议您按照以下两个步骤进行操作。
第 1 步：从 ftp to azure blob storage 创建副本 activity。
第 2 步：从 azure blob storage to sql database 创建另一个副本 activity。
您可以将两个 activity 合并为一个流程。
希望对您有所帮助，有任何问题请告诉我。
更新答案：
您仍然需要将 ftp 中的 csv 文件复制到 azure blob storage.If 您有 2 个目标表，只需在 blob 存储中创建两个容器，这样您就可以将文件分成特定的容器。
然后只需在 azure blob 存储数据集中配置容器名称即可。
它会循环容器中的所有文件。