在 dask 中等待外部依赖
Waiting for external dependencies in dask
上下文:
我正在使用自定义 dask 图表来管理和分发计算。
问题:
一些任务包括读取在 dask 之外生成的文件,这些文件在调用 dask.get(graph,result_key)
.
时不一定可用
问题:
让 i/o 任务等待文件不是一种选择,因为这会阻塞工作人员。是否有(或有哪些)让 dask 等待文件可用然后才执行 i/o 任务的好方法?
非常感谢任何想法!
上下文: 我正在使用自定义 dask 图表来管理和分发计算。
问题:
一些任务包括读取在 dask 之外生成的文件,这些文件在调用 dask.get(graph,result_key)
.
问题: 让 i/o 任务等待文件不是一种选择,因为这会阻塞工作人员。是否有(或有哪些)让 dask 等待文件可用然后才执行 i/o 任务的好方法?
非常感谢任何想法!