查看 dask worker 的日志

Question

我在 Dask 中更改临时目录时遇到问题。当我出于某种原因更改 dask.yaml 中的临时目录时，Dask 仍在 /tmp 中写入（已满）。我现在想尝试调试它，但是当我使用 client.get_worker_logs() 时，我只得到 INFO 输出。

我用

启动我的集群

from dask.distributed import LocalCluster, Client

cluster = LocalCluster(n_workers=1, threads_per_worker=4, memory_limit='10gb')

client = Client(cluster)

我已经尝试将 distributed.worker: debug 添加到 distributed.yaml，但这并没有改变输出。我还检查我实际上是通过调用 dask.config.get('distributed.logging')

来更改配置

我做错了什么？

Answer 1

默认情况下，LocalCluster 会静音大多数日志记录。尝试传递 silence_logs=False 关键字

cluster = LocalCluster(..., silence_logs=False)

查看 dask worker 的日志

Seeing logs of dask workers

dask

dask-distributed