dask 分布式任务流仪表板上的白色 space 发生了什么?

What is happening in the white space on dask distributed task stream dashboard?

下面是任务流仪表板。空白处发生了什么?那是我的本地 python 实例/ dask 调度程序工作的时候吗?是在 GC 或其他进程发生时吗?

我想知道这段时间发生了什么,这样我就可以减少空白。

你是对的,白色 space 表示工作人员在那几秒内处于空闲状态。而 worker-blocking activity、通信和反序列化将分别显示为透明的红色和灰色块,空白 space 表示没有为 worker 提供任何工作。

发生这种情况的主要原因是您正在向调度程序提交一个包含很多任务的大图。客户端和调度程序之间的此图的通信可能需要时间,调度程序中用于决定在何处分配工作的许多进程也需要一些时间。前者更有可能,您最好考虑是否可以采取任何措施来减小图形的大小(例如,更大的块大小)。

可以在调度程序上分析什么占用了时间,尽管这通常不会向用户公开。您可以使用常规 python 分析工具在客户端中分析 activity。