使用 Airflow 在另一台计算机上安排任务
Schedule tasks on another computer with Airflow
我在 Ubuntu 远程服务器上成功地使用 Postgres 数据库设置了 Airflow，看起来很棒。
我能够连接到我的数据仓库（一个单独的服务器）并轻松地将查询作为任务发出。这很简单，因为安装了 Airflow 的服务器实际上正在发出查询。
因为我现在只是测试 Airflow，所以它安装在一个相当小的低功率服务器上。有没有办法让我在我的 Windows 桌面上安排任务到 运行？或者利用我的本地机器下载 data/process 文件的最佳方法是什么，并且仍然让 Airflow 知道任务已成功完成？
Airflow 旨在支持工作负载分配。如果你 运行 airflow workers 在你的 Windows 机器上进行大量数据处理，那么你可以使用他们的计算能力，而 运行 你的 airflow scheduler 和 airflow webserver 在你的小机器上，因为它只是不断触发新任务，检查心跳和更新任务状态。要使此设置生效，您必须使用 CeleryExecutor。我发现 this blog 在我第一次设置时很有用
我在 Ubuntu 远程服务器上成功地使用 Postgres 数据库设置了 Airflow，看起来很棒。
我能够连接到我的数据仓库（一个单独的服务器）并轻松地将查询作为任务发出。这很简单，因为安装了 Airflow 的服务器实际上正在发出查询。
因为我现在只是测试 Airflow，所以它安装在一个相当小的低功率服务器上。有没有办法让我在我的 Windows 桌面上安排任务到 运行？或者利用我的本地机器下载 data/process 文件的最佳方法是什么，并且仍然让 Airflow 知道任务已成功完成？
Airflow 旨在支持工作负载分配。如果你 运行 airflow workers 在你的 Windows 机器上进行大量数据处理，那么你可以使用他们的计算能力，而 运行 你的 airflow scheduler 和 airflow webserver 在你的小机器上，因为它只是不断触发新任务，检查心跳和更新任务状态。要使此设置生效，您必须使用 CeleryExecutor。我发现 this blog 在我第一次设置时很有用