SLURM 的运行与批处理及其参数

我试图理解 SLURM 的 srun和 sbatch命令之间的区别。我很乐意给出一个一般性的解释，而不是对以下问题的具体回答，但这里有一些具体的困惑点，可以作为一个起点，并给出一个想法，我在寻找什么。

根据文件，srun是用来提交作业的，而 sbatch是用来提交作业以供以后执行的，但是我不清楚实际的区别，而且它们的行为似乎是一样的。例如，我有一个有2个节点的集群，每个节点有2个 CPU。如果我在一行中执行 srun testjob.sh &5x，它将很好地将第五个作业排队，直到有一个 CPU 可用，执行 sbatch testjob.sh也是如此。

为了使问题更具体，我认为一个好的开始可能是: 有什么事情是我可以用一个来做但是不能用另一个来做的，为什么？

两个命令的许多参数是相同的。看起来最相关的是 --ntasks，--nodes，--cpus-per-task，--ntasks-per-node。这些是如何相互关联的，它们在 ABC4和 sbatch之间有什么不同？

一个特别的区别是，如果 testjob.sh没有可执行权限，即 chmod +x testjob.sh，而 sbatch将愉快地运行它，那么 srun将导致错误。“引擎盖下”发生了什么导致了这种情况？

文档还提到，srun通常在 sbatch脚本内使用

69179

小开

最佳答案

文件上说

srun is used to submit a job for execution in real time

同时

sbatch is used to submit a job script for later execution.

它们都接受几乎相同的一组参数。主要区别在于 srun是交互式和阻塞式的(你在终端中得到结果，在结束之前你不能写其他命令) ，而 sbatch是批处理和非阻塞式的(结果被写到一个文件中，你可以立即提交其他命令)。

如果你在背景中使用 srun和 &标志，那么你就移除了 srun的“阻塞”特性，它会变成交互式的但是不会阻塞。但是它仍然是交互式的，这意味着输出将混乱您的终端，并且 srun进程链接到您的终端。如果断开连接，您将失去对它们的控制，或者它们可能会被杀死(这取决于它们是否基本上使用 stdout)。如果您连接到提交作业的机器重新启动，它们将被杀死。

如果您使用 sbatch，您提交您的工作，它是由 Slurm 处理; 您可以断开，关闭您的终端等，没有任何后果。您的作业不再与正在运行的进程链接。

有什么事情是我可以用一个来做但是不能用另一个来做的，为什么？

sbatch可用而 srun不可用的一个特性是作业数组。由于 srun可以在 sbatch脚本中使用，所以没有什么是 sbatch做不到的。

这些是如何相互关联的，以及它们对于 srun 和 satch 有什么不同？

所有参数 --ntasks、 --nodes、 --cpus-per-task、 --ntasks-per-node在两个命令中都有相同的含义。几乎所有的参数都是如此，只有 --exclusive例外。

“引擎盖下”发生了什么导致了这种情况？

srun立即在远程主机上执行该脚本，而 sbatch在内部存储中复制该脚本，然后在作业启动时将其上载到计算节点。您可以通过在提交脚本之后修改它来检查这一点; 更改将不会被考虑在内(参见这个)。

它们如何相互作用，它们各自的“规范”用例是什么？

您通常使用 sbatch提交作业，使用 srun在提交脚本中创建 Slurm 调用的作业步骤。srun用于启动进程。如果您的程序是一个并行 MPI 程序，那么 srun负责创建所有的 MPI 进程。如果没有，srun将按照 --ntasks选项指定的次数运行您的程序。有许多用例取决于您的程序是否并行，是否有长时间运行，是否由单个可执行文件组成，等等。除非另有说明，否则 srun默认继承 sbatch或 salloc的相关选项，它在 sbatch或 salloc下运行(从给你开始)。

具体来说，我会自己用 Srun 吗？

除了用于小型测试之外，没有。一个常见的用法是 srun --pty bash在计算作业上获取 shell。