在 dask 中等待外部依赖

Waiting for external dependencies in dask

上下文: 我正在使用自定义 dask 图表来管理和分发计算。

问题: 一些任务包括读取在 dask 之外生成的文件,这些文件在调用 dask.get(graph,result_key).

时不一定可用

问题: 让 i/o 任务等待文件不是一种选择,因为这会阻塞工作人员。是否有(或有哪些)让 dask 等待文件可用然后才执行 i/o 任务的好方法?

非常感谢任何想法!

听起来您可能想要使用 Dask 的一些更多 real-time 功能,如 here 所述。

您可以考虑制作使用 secede and rejoin 或 async-await 风格编程的任务,并且仅在您的客户端进程注意到它们存在时才启动任务。