如何 运行 airflow 网络服务器在端口 80 上
How to run airflow webserver on port 80
当我在端口 80 上将 airflow 网络服务器设置为 运行 时，该服务未执行并失败并出现以下错误：
...
[2017-08-30 06:26:35,286] {__init__.py:57} INFO - Using executor CeleryExecutor
[2017-08-30 06:26:35,421] {driver.py:120} INFO - Generating grammar tables from /usr/lib/python3.5/lib2to3/Grammar.txt
[2017-08-30 06:26:35,463] {driver.py:120} INFO - Generating grammar tables from /usr/lib/python3.5/lib2to3/PatternGrammar.txt
[2017-08-30 06:26:35 +0000] [9401] [INFO] Starting gunicorn 19.3.0
[2017-08-30 06:26:35 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:36 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:37 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:38 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:39 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:40 +0000] [9401] [ERROR] Can't connect to ('0.0.0.0', 80)
...
在 AWS 上托管的 Ubuntu 16.04 上使用 systemd。如果 运行 在端口 8080 上，整个设置运行良好。
相关配置部分：
$ grep web_server_port /home/ubuntu/airflow/airflow.cfg
web_server_port = 80
服务配置：
$ cat /usr/lib/systemd/system/airflow-webserver.service
[Unit]
Description=Airflow webserver daemon
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service
[Service]
User=ubuntu
Group=ubuntu
Type=simple
ExecStart=/usr/local/bin/airflow webserver --pid /home/ubuntu/airflow/webserver.pid
Restart=on-failure
RestartSec=5s
PrivateTmp=true
[Install]
WantedBy=multi-user.target
问题是端口 80 只能由 root 使用。 /usr/lib/systemd/system/airflow-webserver.service 中解决问题所需的唯一更改是：
- 删除
User和Group：root是默认值
- 设置 airflow home 环境变量：否则服务会在
/root/airflow 中查找 airflow
新服务配置：
$ cat /usr/lib/systemd/system/airflow-webserver.service
[Unit]
Description=Airflow webserver daemon
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service
[Service]
Environment=AIRFLOW_HOME=/home/ubuntu/airflow
Type=simple
ExecStart=/usr/local/bin/airflow webserver --pid /home/ubuntu/airflow/webserver.pid
Restart=on-failure
RestartSec=5s
PrivateTmp=true
[Install]
WantedBy=multi-user.target
当我在端口 80 上将 airflow 网络服务器设置为 运行 时，该服务未执行并失败并出现以下错误：
...
[2017-08-30 06:26:35,286] {__init__.py:57} INFO - Using executor CeleryExecutor
[2017-08-30 06:26:35,421] {driver.py:120} INFO - Generating grammar tables from /usr/lib/python3.5/lib2to3/Grammar.txt
[2017-08-30 06:26:35,463] {driver.py:120} INFO - Generating grammar tables from /usr/lib/python3.5/lib2to3/PatternGrammar.txt
[2017-08-30 06:26:35 +0000] [9401] [INFO] Starting gunicorn 19.3.0
[2017-08-30 06:26:35 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:36 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:37 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:38 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:39 +0000] [9401] [ERROR] Retrying in 1 second.
[2017-08-30 06:26:40 +0000] [9401] [ERROR] Can't connect to ('0.0.0.0', 80)
...
在 AWS 上托管的 Ubuntu 16.04 上使用 systemd。如果 运行 在端口 8080 上，整个设置运行良好。
相关配置部分：
$ grep web_server_port /home/ubuntu/airflow/airflow.cfg
web_server_port = 80
服务配置：
$ cat /usr/lib/systemd/system/airflow-webserver.service
[Unit]
Description=Airflow webserver daemon
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service
[Service]
User=ubuntu
Group=ubuntu
Type=simple
ExecStart=/usr/local/bin/airflow webserver --pid /home/ubuntu/airflow/webserver.pid
Restart=on-failure
RestartSec=5s
PrivateTmp=true
[Install]
WantedBy=multi-user.target
问题是端口 80 只能由 root 使用。 /usr/lib/systemd/system/airflow-webserver.service 中解决问题所需的唯一更改是：
- 删除
User和Group：root是默认值 - 设置 airflow home 环境变量：否则服务会在
/root/airflow 中查找 airflow
新服务配置：
$ cat /usr/lib/systemd/system/airflow-webserver.service
[Unit]
Description=Airflow webserver daemon
After=network.target postgresql.service mysql.service redis.service rabbitmq-server.service
Wants=postgresql.service mysql.service redis.service rabbitmq-server.service
[Service]
Environment=AIRFLOW_HOME=/home/ubuntu/airflow
Type=simple
ExecStart=/usr/local/bin/airflow webserver --pid /home/ubuntu/airflow/webserver.pid
Restart=on-failure
RestartSec=5s
PrivateTmp=true
[Install]
WantedBy=multi-user.target