是否可以在现有分布式客户端中修改 workers/threads 的数量?
Is it possible to modify number of workers/threads in an existing distributed client?
我正在本地机器上使用 dask 优化 TPOT 管道。我希望这个 运行 持续 48 小时甚至更长时间。
我启动了一个有几个内核的客户端,这样我就可以在 运行 在后台运行时继续使用我的机器。
from dask.distributed import Client
client = Client(n_workers=1, threads_per_worker=6, memory_limit="14GB")
我想知道是否可以将 workers/threads 添加到客户端,以便在我睡觉或不使用计算机时增加计算能力。
是的,您可以考虑使用 Dask 的自适应缩放:https://docs.dask.org/en/latest/setup/adaptive.html
client.cluster.adapt(minimum=0, maximum=10)
我正在本地机器上使用 dask 优化 TPOT 管道。我希望这个 运行 持续 48 小时甚至更长时间。
我启动了一个有几个内核的客户端,这样我就可以在 运行 在后台运行时继续使用我的机器。
from dask.distributed import Client
client = Client(n_workers=1, threads_per_worker=6, memory_limit="14GB")
我想知道是否可以将 workers/threads 添加到客户端,以便在我睡觉或不使用计算机时增加计算能力。
是的,您可以考虑使用 Dask 的自适应缩放:https://docs.dask.org/en/latest/setup/adaptive.html
client.cluster.adapt(minimum=0, maximum=10)