连接字符串的 Azure 数据工厂 v2 参数

Question

我是 Azure Data Factory v2 的新手，在部署到多个环境时有几个关于一般转换连接字符串/LinkedServices 的问题。

来自 SSIS 背景：

我们曾经将连接字符串定义为项目参数。这允许在将工件部署到不同环境时转换连接字符串。

我如何使用 Azure 数据工厂 v2 完成相同的任务？是否有捷径可寻？

我正在尝试使用连接字符串作为参数来设置链接服务，然后可以将这些连接字符串与触发器一起传递？这可行吗？

Answer 1

关于 SSIS（我们将使用配置文件 - .dtsconfig 部署到不同的部署），对于 ADFV2（以及 ADFV1）我们可以看看进入使用 ARM 模板的选项，其中针对每个不同的环境（开发、测试和生产）部署 ADF 解决方案，可以制作许多部署文件（.json）并编写部署脚本使用 PowerShell。可以使用 ARM 模板参数来参数化链接服务的连接和其他环境特定值。然后 ADFV2 个特定的 PowerShell cmdlets 用于 creation/deployment 个 ADFV2 个管道。

您还可以使用 PowerShell 将连接参数化为 linked services 和其他环境特定值。

使用 ADFV2 UI 可以实现 VSTS GIT 集成，部署和集成也是如此。 VSTS GIT 集成允许选择一个 feature/development 分支或在 VSTS GIT 存储库中创建一个新分支。一旦更改与主分支合并，就可以使用 ADFV2 UI 将其发布到数据工厂。

Answer 2

此功能现在可从下面的 URL 获得。您是请求该功能的人吗？ :)

https://azure.microsoft.com/en-us/blog/parameterize-connections-to-your-data-stores-in-azure-data-factory/

Answer 3

我最终通过为每个环境设置一个 azure key vault 来解决这个问题，每个环境都有一个连接字符串秘密（更多细节在这里：https://docs.microsoft.com/en-us/azure/data-factory/store-credentials-in-key-vault）

- dev
    - dev-azure-datafactory
    - dev-key-vault
     - key: db-conn-string
       value: dev-db.windows.net
- qa
    - qa-azure-datafactory
    - qa-key-vault
     - key: db-conn-string
       value: qa-db.windows.net

- production
    - prod-azure-datafactory
    - prod-key-vault
     - key: db-conn-string
       value: prod-db.windows.net

在 Azure 数据工厂

定义 Azure Key Vault 链接服务
在为其他链接服务定义连接字符串时使用 Azure Key Vault 链接服务
这种方法消除了实际链接服务中的任何参数更改
Azure Key Vault 链接服务的连接字符串可以作为 Azure 管道部署的一部分进行更改（更多详细信息，请点击此处：https://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment）
每个 azure 数据工厂都可以使用 MSI 访问其 azure key vault（在我们的例子中使用 terraform 自动化）

连接字符串的 Azure 数据工厂 v2 参数

Azure Data Factory v2 parameters for connection string

azure-data-factory

来自 SSIS 背景：