气流安装故障光束[gcp]

Question

使用命令安装 Airflow 失败

sudo pip3 install apache-airflow[gcp_api]

昨天一切正常。今天我看到以下错误：

Could not find a version that satisfies the requirement apache-beam[gcp]==2.3.0 (from google-cloud-dataflow->apache-airflow[gcp_api]) (from versions: 0.6.0, 2.0.0, 2.1.0, 2.1.1, 2.2.0)
No matching distribution found for apache-beam[gcp]==2.3.0 (from google-cloud-dataflow->apache-airflow[gcp_api])

有人可以帮我解决这个问题吗？

提前致谢

Answer 1

我遇到了同样的问题:(

为什么？ 这很可能是因为在 apache-beam 的新版本 (2.3.0) 中他们实际上添加了对 python3 的限制 https://pypi.python.org/pypi/apache-beam/2.3.0 Requires Python: >=2.7,<3.0 以前的包没有这个限制，这就是它之前工作的原因（如果你没有使用来自 gcp 的数据流）。

可能你有最新版本的 https://pypi.python.org/pypi/google-cloud-dataflow/2.3.0 更新了 apache-beam 包

如何解决？

卸载google-cloud-dataflow

pip3 uninstall google-cloud-dataflow

并安装具有旧版本 apache beam 的 2.2.0 版本

pip install google-cloud-dataflow==2.2.0

为我解决了这个问题，希望对你也有帮助

Answer 2

这已在 Apache Airflow Github 的主分支中由 Pull Request #3273 解决。

您可以使用以下命令安装最新的开发分支。

pip install git+https://github.com/apache/incubator-airflow
pip install git+https://github.com/apache/incubator-airflow#egg=apache-airflow[gcp_api]

气流安装故障光束[gcp]

Airflow installation failure beam[gcp]

google-cloud-platform

google-cloud-dataflow

airflow

apache-beam