一个 dask worker 如何访问集群中当前的 worker 总数？

Question

我的 dask worker 需要 运行 init 代码，这取决于集群中的 worker 数量。工作人员可以访问此类集群元数据吗？

Answer 1

客户可以使用Client.scheduler_info函数来确定集群中的worker数量。

>>> len(client.scheduler_info()['workers'])
8

worker 中的任何函数 运行 都可以使用 get_client 函数获得客户端。

>>> from dask.distributed import get_client
>>> n = len(get_client.scheduler_info()['workers'])

http://docs.dask.org/en/latest/futures.html#distributed.get_client

尽管请注意，这假设您正在使用 dask.distributed 调度程序（因此将来不能使用基本的单机调度程序）并且原则上工作人员的数量可以更改随着时间的推移。