如何使用 SLURM 正确提交 dask 书面脚本

Question

我正在使用 dask 在多个节点上启动 for 循环。问题是我不确定如何使用 SLURM

正确发送作业

我可以从登录节点正确启动它，但我被警告说它使用了大量内存然后提交作业。问题是，当我提交作业时，dask 无法提交作业，因为它没有来自计算节点的访问权限，导致错误：sbatch: error: Batch job submission failed: Access/permission denied

我的代码如下：

somefunc(n):
    try:
        long calculation
        return result
    except:
         return to be filtered result

def main():
    num_image = 268828
    X = np.empty((num_image,7), dtype=np.float32)
    cluster = SLURMCluster(cores=32,
                           processes=32,
                           interface ="ib0",
                           walltime="04:10:00",
                           memory = "80GB")
    cluster.scale(600)
    client = Client(cluster)

    with tqdm (total = num_image) as pbar:
        future = client.map(somefunc, range(num_image))
        for future,result in as_completed(future,with_results = True):
            X[result[0],:] = result
            pbar.update(1)
            future.release()

    return X


if __name__ == '__main__':

    x = main()
    io.savemat('/gpfs/home/savedata.mat', {'data': x})

我的工作文件很简单：

conda activate my_env
python my_code.py

所以它只要求一个节点（为什么我应该只需要将信息传递给 sheduler）

Answer 1

error: Batch job submission failed: Access/permission denied

这可能是您的集群特有的问题。我建议向您的系统管理员寻求帮助。您可能需要向他们提供完整的回溯。

关于常见问题的示例，我推荐这篇博文：https://blog.dask.org/2019/08/28/dask-on-summit

如何使用 SLURM 正确提交 dask 书面脚本

How to properly submit a dask written script with SLURM

python

dask

dask-distributed