1 集群常用概念

Resource：资源，作业运行过程中使用的可量化实体，包括硬件资源（节点、内存、CPU、GPU）和软件资源（License）
Cluster：集群，包含计算、存储、网络等各种资源实体且彼此联系的资源集合，物理上一般由计算处理、互联通信、I/O存储、操作系统、编译器、运行环境、开发工具等多个软硬件子系统组成。
Node：节点，是集群的基本组成单位，从角色上一半可以划分为管理节点、登录节点、计算节点、存储节点等。
job：作业，物理构成，一组关联的资源分配请求，以及一组关联的处理过程。按交互方式，可以分为交互式作业和非交互式作业；按资源使用，可以分为串行作业和并行作业。
queue：队列，带名称的作业容器，用户访问控制，资源使用限制。
Job Schedule System：作业调度系统，负责监控和管理集群中资源和作业的软件系统。
job step：作业步，单个作业可以有多个作业步。
partition：分区，根据用户的权限，作业需要被提交到特定的分区中运行。
tasks：任务数，默认一个任务使用一个CPU核，可理解为job需要的CPU核数。

2 Slurm常用基本命令

sbatch：提交作业脚本使其运行。
squeue：显示队列中的作业及作业状态。
scancel：取消排队或运行中的作业。
sinfo：显示节点状态。
scontrol：现实或设定slurm作业、队列、节点等状态。
salloc：为实时处理的作业分配资源：典型场景为分配资源并启动一个shell，然后用此shell执行srun命令去执行并行任务。
srun：交互式运行并行作业，一般用于短时间测试。

3 Slurm作业提交

slurm 有三种模式提交作业，分别为交互模式，批处理模式，分配模式，这三种方式只是作业提交方式的区别，在管理、调度、机时计算同等对待。
一般使用批处理模式提交作业，其他两种模式这里不进行详细介绍。

3.1 交互模式：srun

交互式作业提交，提交命令后，等待作业执行完成之后返回命令行操作界面。

3.2 批处理模式：sbatch

• 批处理模式是指用户编写作业脚本，指定作业需要的资源，提交后台执行作业
• 作业提交后进入调度状态，在资源满足要求时，分配计算节点
• 分配到计算资源后，自动在计算节点执行用户所编辑的脚本内的命令，sbatch 命令提交作业，终端断开连接作业依然在后台运行束，直到脚本执行结束作业自动退出 (或者在作业运行时执行 scancel 命令取消作业后作业自动停止)
• 批处理作业的脚本为一个bash或sh文本文件
• 计算开始后，工作目录中会生成以slurm-作业号.out文件，为作业的输出

常见资源需求参数，使用SBATCH -xx xxx写入作业脚本中：

-N, --nodes=N                   #指定节点数量
-o, --output=out_filename       #指定输出文件输出
-p, --partion=debug             #指定分区
-t, --time=dd-hh:mm:ss          #作业最大运行时间

--mem：指定每个节点上使用的物理内存
--begin：指定作业开始时间
-D，--chdir：指定脚本/命令的工作目录
-c, --cpu-per-task=NCPUs        #指定每个进程使用核数，不指定默认为1
-e, --error=error_filename      #指定错误文件输出
-J, --job-name=JOBNAME          #指定作业名称
--mail-type=END/FAIL/ALL        #邮件提醒，可选:END,FAIL,ALL
--mail-user=mail_address        #通知邮箱地址
-n, --ntask=NTASKs #指定总进程数；不使用cpus-per-task，可理解为进程数即为核数 
--ntask-per-node=N #指定每个节点进程数/核数，使用-n参数后变为每个节点最多运行的进程数

-w, --nodelist=node[1,2]        #指定优先使用节点，不可与避免节点冲突
-x, --exclude=node[3,5-6]       #指定避免使用节点，不可与优先节点冲突
--mem-per-cpu=MB                #指定计算cpu最大占用内存大小

示例文件：

#!/bin/bash 
#提交单个作业
#SBATCH --job-name=JOBNAME      %指定作业名称
#SBATCH --partition=debug       %指定分区
#SBATCH --nodes=2               %指定节点数量
#SBATCH --cpus-per-task=1       %指定每个进程使用核数，不指定默认为1
#SBATCH -n 32       %指定总进程数；不使用cpus-per-task，可理解为进程数即为核数
#SBATCH --ntasks-per-node=16    %指定每个节点进程数/核数,使用-n参数（优先级更高），变为每个节点最多运行的任务数

#SBATCH --time=240:00:00      %作业最大运行时长，参考格式填写
#SBATCH --output=file_name      %指定输出文件输出
#SBATCH --error=file_name       %指定错误文件输出
#SBATCH --mail-type=ALL         %邮件提醒,可选:END,FAIL,ALL
#SBATCH --mail-user=address     %通知邮箱地址

module load apps/anaconda3/2021.05  # 加载anaconda
source activate torch1.8.1  # 加载anaconda虚拟环境

python main.py --no_static=True --model=lstm --seed=100 train_basins  # 执行python脚本

命令行输入sbatch 作业脚本名提交作业

sbatch filename

3.3 分配模式：salloc

程序部署完成后的验证性测试、调试。推荐在不确定程序是否能够正常运行时使用此流程进行测试。此方法终端中断后程序作业即退出运行，正式提交作业不推荐使用此方法。
此模式支持用户在提交作业前抢占所需要的计算资源，此时开始计算机时。程序运行完成后作业不会自动停止，直到退出终 端或 scancel 取消作业后作业才会停止，才会停止计费。
终端断开作业会立刻停止，如果作业未运行完成时终端断开会导致任务运 行中断。
执行分为三步：
(1) 提交资源分配请求，等待资源分配，资源分配到后开始计费
(2) 执行用户指定的命令
(3) 退出作业释放资源，停止计费

4 节点及作业列表查询

4.1 节点信息查看

sinfo									# 查看所有分区状态
sinfo -a 							    # 查看所有分区状态
sinfo -N								# 查看节点状态
sinfo -n node-name			            # 查看指定节点状态
sinfo --help					    	# 查看帮助信息

# 节点状态信息
alloc：节点满载
idle：节点空闲
mix：节点部分被占用
down：节点下线
drain：节点故障

4.2 作业列表查询

squeue				# 查看运行中作业列表
squeue -l 		# 查看列表细节信息
squeue -j job-id 	# 查看指定运行中的作业信息

# 作业状态
R：正在运行
PD：正在排队
CG：已完成
CD：已完成

4.3 查看作业的CPU、GPU使用情况

一般通过squeue查看作业所在的节点id，通过ssh 节点id连接作业所在节点，使用top命令查看节点的CPU使用情况，使用top nvidia-smi查看节点的GPU使用情况，使用nvidia-smi -l 刷新间隔秒数可设置显示的刷新频率。

5 作业信息查询及更新

5.1 作业信息查看

scontrol show job JOBID         #查看作业的详细信息
scontrol show node              #查看所有节点详细信息
scontrol show node node-name    #查看指定节点详细信息
scontrol show node | grep CPU   #查看各节点cpu状态
scontrol show node node-name | grep CPU #查看指定节点cpu状态

5.2 更新作业信息

作业提交后，但相关作业属性错误，取消任务修改作业后需要重新排队，在作业运行开始前可以使用scontrol更新作业的运行属性。

scontrol update jobid=JOBID ATTRIBUTE=INFO # ATTRIBUTE为下列属性名，INFO修改的属性值
partition=<name>
name=<name>
numcpus=<min_count-max_count>
numnodes=<min_count-max_count>
numtasks=<count>
reqnodelist=<nodes>
reqcores=<count>
nodelist=<nodes>
excnodelist=<nodes>
starttime=yyyy-mm-dd
timelimit=d-h:m:s
mincpusnode=<count>
minmemorycpu=<megabytes>
minmemorynode=<megabytes>

6 终止作业

scancel JOBID  # 终止作业

7 参考文献

[1] https://blog.csdn.net/nixiang_888/article/details/121405854