监控 dask-xarray 性能

Question

我有以下基本代码（我认为）应该设置 xarray 以使用 LocalCluster。

from dask.distributed import Client
client = Client("tcp://127.0.0.1:46573") # this points to a LocalCluster

import xarray as xr
ds = xr.open_mfdataset('*.nc', combine='by_coords') # Uses dask to defer actually loading data

我现在启动了一些也顺利完成的任务：

(ds.mean('time').mean('longitude')**10).compute()

我注意到我的 LocalCluster 的 dask-labextension 中任务图、工作人员或任务流（以及其他）的选项卡仍然是空的。在计算运行时不应该显示某种进度吗？
这让我想知道，我如何告诉 xarray 明确使用这个集群？或者 Client 是一个单例，这样 xarray 无论如何只有一个实例可以使用？

Answer 1

当您创建 Dask 客户端时，它会自动将自己注册为运行 Dask 计算的默认方式。

您可以使用 dask.is_dask_collection 函数检查对象是否为 Dask 集合。正如你所说，我相信 xr.open_mfdataset 默认使用 Dask，但这将是一个很好的检查方法。

至于为什么您在仪表板上看不到任何内容，很遗憾，我对您的情况了解不多，无法为您提供帮助。

监控 dask-xarray 性能

Monitor dask-xarray performance

dask

python-xarray