使用 Azure Data Factory V2 将 Excel 工作簿的多个工作表并行加载到 SQL 数据库中
Bulk Load Multiple Worksheets of an Excel Workbook parallelly into SQL DB using Azure Data Factory V2
有没有办法使用 ADF V2 将工作表批量加载到 SQL table 中？
我能够通过使用 2 个链接服务（Blob & SQL 制作 10 个数据集（Excel 和 SQL Tables）来加载 5 张数据D B）。即使并行执行所有数据活动，性能也不是很好。
如果我添加更多要加载的工作表，则性能会显着下降。我认为这是因为相同的 excel 工作簿已被消耗，考虑到它的大小 (50 MB)，打开和阅读需要时间并成为瓶颈。
SSIS 只能使用 Foreach 循环按顺序执行此操作（取决于目标 table 的动态设置方式）
必须有更好的方法来加载数据而不是创建 N*2 个数据集（Worksheet Source & Resp SQL Table）。
-谢谢
您可以分两步完成：
- 首先将 excel 电子表格导出为 csv 文件，您可以将它们合并到一个文件中。
- 然后使用Bulk Insert将数据载入数据库
参见：https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-ver15
正如@Mark 发布的那样 - “您可以在数据集“sheets”属性 中单击“编辑”并参数化 属性。然后您可以使用管道“ foreach" 遍历 sheet 个名称"
有没有办法使用 ADF V2 将工作表批量加载到 SQL table 中？
我能够通过使用 2 个链接服务（Blob & SQL 制作 10 个数据集（Excel 和 SQL Tables）来加载 5 张数据D B）。即使并行执行所有数据活动，性能也不是很好。
如果我添加更多要加载的工作表，则性能会显着下降。我认为这是因为相同的 excel 工作簿已被消耗，考虑到它的大小 (50 MB)，打开和阅读需要时间并成为瓶颈。
SSIS 只能使用 Foreach 循环按顺序执行此操作（取决于目标 table 的动态设置方式）
必须有更好的方法来加载数据而不是创建 N*2 个数据集（Worksheet Source & Resp SQL Table）。
-谢谢
您可以分两步完成：
- 首先将 excel 电子表格导出为 csv 文件，您可以将它们合并到一个文件中。
- 然后使用Bulk Insert将数据载入数据库
参见：https://docs.microsoft.com/en-us/sql/t-sql/statements/bulk-insert-transact-sql?view=sql-server-ver15
正如@Mark 发布的那样 - “您可以在数据集“sheets”属性 中单击“编辑”并参数化 属性。然后您可以使用管道“ foreach" 遍历 sheet 个名称"