无法 运行 Cloud 运行 中的气流 运行 获取错误磁盘 I/o 错误
Not able to run airflow in Cloud run getting error disk I/o error
我正在尝试 运行 google 云 运行 中的气流。
Getting error Disk I/O 错误,我猜是缺少磁盘写权限。
谁能帮我解决如何在云中授予写权限 运行。
我还必须写入文件,然后再删除它。
在 Cloud 运行 中只有目录 /tmp
是可写的。因此,将默认写入位置更改为写入此目录。
但是,您必须注意两件事:
- Cloud 运行 是无状态的,这意味着当创建一个新实例时,容器从头开始,有一个空的
/tmp
目录
/tmp
目录是一个内存文件系统。 Cloud 运行 上允许的最大内存为 2Gb,包括您的应用内存占用。除了你的文件和 Airflow,不确定你会有很多 space.
最后的评论。 Cloud 运行 仅在处理请求时处于活动状态,并且请求的最大超时时间为 15 分钟。当没有请求时,允许的cpu接近于0%。我不确定你想用 Airflow on Cloud 运行 实现什么,但我的感觉告诉我你的设计很奇怪。在你为此花费太多精力之前,我更愿意警告你。
我的印象是你有一个写入 i/o 错误,因为你使用的是 SQLite。可以吗
如果你想 运行 使用 cointainer 进行 Airflow,我建议使用 Postgres 或 MySQL 作为后端数据库。
您还可以将 plugins 和 dag 文件夹挂载到一些外部卷中。
我正在尝试 运行 google 云 运行 中的气流。 Getting error Disk I/O 错误,我猜是缺少磁盘写权限。
谁能帮我解决如何在云中授予写权限 运行。
我还必须写入文件,然后再删除它。
在 Cloud 运行 中只有目录 /tmp
是可写的。因此,将默认写入位置更改为写入此目录。
但是,您必须注意两件事:
- Cloud 运行 是无状态的,这意味着当创建一个新实例时,容器从头开始,有一个空的
/tmp
目录 /tmp
目录是一个内存文件系统。 Cloud 运行 上允许的最大内存为 2Gb,包括您的应用内存占用。除了你的文件和 Airflow,不确定你会有很多 space.
最后的评论。 Cloud 运行 仅在处理请求时处于活动状态,并且请求的最大超时时间为 15 分钟。当没有请求时,允许的cpu接近于0%。我不确定你想用 Airflow on Cloud 运行 实现什么,但我的感觉告诉我你的设计很奇怪。在你为此花费太多精力之前,我更愿意警告你。
我的印象是你有一个写入 i/o 错误,因为你使用的是 SQLite。可以吗
如果你想 运行 使用 cointainer 进行 Airflow,我建议使用 Postgres 或 MySQL 作为后端数据库。
您还可以将 plugins 和 dag 文件夹挂载到一些外部卷中。