创建 dask_jobqueue 个调度程序以在自定义 HPC 上启动
Creating dask_jobqueue schedulers to launch on a custom HPC
我是 dask 的新手，正在尝试在我们使用 NC 作业调度程序（来自 Runtime Design Automation，类似于 LSF）的集群中使用它。我正在尝试创建一个类似于 LSFCluster 的 NCCluster class 以使事情变得简单。
为自定义集群创建作业调度程序涉及哪些步骤？
有没有其他方法可以在不使用 JobQueueCluster 的情况下将 dask 连接到自定义集群？
我可以找到有关如何使用 LSFCluster/PBSCluster/... 的信息，但找不到有关为不同的 HPC 创建一个的信息。
指向 material/examples/docs 的任何链接都会有所帮助
谢谢
截至 2019-10-14，没有关于如何为 dask-jobqueue 创建新的集群管理器的文档。也就是说，源代码还不错。我鼓励您参与 GitHub 问题跟踪器。 https://github.com/dask/dask-jobqueue/issues/new
查看源代码后可以正常使用了。
给尝试者的提示：
- 创建类似于 LSFCluster 和 LSFJob 的 customCluster 和 customJob class。
- 覆盖以下内容
- submit_command
- cancel_command
- config_name（您必须在 jobqueue.yaml 中定义它）
- 根据集群的不同，您可能需要覆盖 _submit_job、_job_id_from_submit_ouput 和其他函数。
希望对您有所帮助。
我是 dask 的新手，正在尝试在我们使用 NC 作业调度程序（来自 Runtime Design Automation，类似于 LSF）的集群中使用它。我正在尝试创建一个类似于 LSFCluster 的 NCCluster class 以使事情变得简单。
为自定义集群创建作业调度程序涉及哪些步骤？ 有没有其他方法可以在不使用 JobQueueCluster 的情况下将 dask 连接到自定义集群？
我可以找到有关如何使用 LSFCluster/PBSCluster/... 的信息，但找不到有关为不同的 HPC 创建一个的信息。
指向 material/examples/docs 的任何链接都会有所帮助
谢谢
截至 2019-10-14，没有关于如何为 dask-jobqueue 创建新的集群管理器的文档。也就是说，源代码还不错。我鼓励您参与 GitHub 问题跟踪器。 https://github.com/dask/dask-jobqueue/issues/new
查看源代码后可以正常使用了。 给尝试者的提示：
- 创建类似于 LSFCluster 和 LSFJob 的 customCluster 和 customJob class。
- 覆盖以下内容
- submit_command
- cancel_command
- config_name（您必须在 jobqueue.yaml 中定义它）
- 根据集群的不同，您可能需要覆盖 _submit_job、_job_id_from_submit_ouput 和其他函数。
希望对您有所帮助。