Dask：散景和进度条更新非常缓慢

Question

我在任务进度的可视化方面遇到了一些问题。

我曾经使用 8787 端口上的状态页面，但可视化并不总是像我在博客文章中看到的那样流畅（刷新率）。

我在使用 dask.diagnostics.progress 时非常开心，因为它 运行 很流畅并且有一个计时器。

但是这次在尝试持久化数据帧时，我的进度被阻止了（停留在 2.4 秒并且从未前进）。更新它并不能解决问题，在 8787 上我也没有得到太多信息。知道为什么会这样吗？

Answer 1

如果计算失败，进度条会停止。您可能想要检查 users1 是否产生了良好的结果。一种简单的方法是在完整数据帧上触发廉价计算，例如 len

>>> len(users1)
Exception ...

进度条无响应的其他原因包括互联网连接不佳或调度程序非常饱和（如果有数百万个任务），但在您的情况下似乎都不是这种情况。