在不同环境中使用 Airflow 变量和连接测试代码的最佳方法
Best way to test code with Airflow variables and connections on different environments
对于我们的 Airflow 项目 (运行 Airflow 2.0.1)，我已经实施了一些验证 DAG 有效性的通用测试，检查每个 DAG 是否有一个 owner/email，检查解析时间等在..
现在我正在尝试设置一些 CI/CD 管道来运行这些测试，然后将 DAG 推送到 Cloud Composer 存储桶。但是，如果我使用任何气流连接或变量，此测试显然会失败，因为这些尚未在跑步者上创建。
我不想做的是使用模拟，因为我必须指定每个 connection/variable 这对于一般测试来说有点太多工作。您如何处理 connections/variables 以在不同环境下进行测试 (development/testing/production)
由于您使用的是 Airflow 2，因此您可以使用稳定版 API 在所需环境中创建或更新变量。您只需要从 CI/CD 管道中调用 API。
查看 create a variable and update a variable 的官方文档。
对于我们的 Airflow 项目 (运行 Airflow 2.0.1)，我已经实施了一些验证 DAG 有效性的通用测试，检查每个 DAG 是否有一个 owner/email，检查解析时间等在..
现在我正在尝试设置一些 CI/CD 管道来运行这些测试，然后将 DAG 推送到 Cloud Composer 存储桶。但是，如果我使用任何气流连接或变量，此测试显然会失败，因为这些尚未在跑步者上创建。
我不想做的是使用模拟，因为我必须指定每个 connection/variable 这对于一般测试来说有点太多工作。您如何处理 connections/variables 以在不同环境下进行测试 (development/testing/production)
由于您使用的是 Airflow 2，因此您可以使用稳定版 API 在所需环境中创建或更新变量。您只需要从 CI/CD 管道中调用 API。
查看 create a variable and update a variable 的官方文档。