Slurm集群节点‘体检报告’一键生成：GPT辅助下的Bash脚本编写实战

在HPC（高性能计算）集群的日常运维中，快速掌握节点状态是管理员和用户都迫切需要的功能。传统的 sinfo 和 squeue 命令虽然提供了基础信息，但输出格式往往不够直观，难以一目了然地把握全局状况。本文将带你体验如何借助AI工具（如GPT）与开发者知识相结合，高效编写一个能生成美观集群状态报告的Bash脚本。

1. 从需求到AI提示词：明确目标

编写一个实用的集群状态报告脚本，首先需要明确我们希望看到哪些信息。一个好的集群"体检报告"应该包含：

• 节点基本信息 ：主机名、所属分区
• 资源状态 ：CPU数量、当前负载、总内存、可用内存
• 特殊资源 ：GPU等加速器信息
• 作业情况 ：当前节点上运行的所有作业

将这些需求转化为AI提示词时，需要注意几点：

1. 具体明确 ：避免模糊描述，如"好看的报告"，而应说明"表格形式，不同状态用颜色区分"
2. 技术细节 ：明确指出需要使用哪些Slurm命令（ sinfo , squeue ）
3. 格式要求 ：说明希望如何格式化输出（列宽、颜色等）

提示：给AI的提示词可以这样组织："我需要一个Bash脚本，使用sinfo和squeue命令生成Slurm集群状态报告。报告应以表格形式显示每个节点的主机名、分区、状态、CPU数量、CPU负载、总内存、可用内存、GRES资源和作业列表。空闲节点显示为绿色，其他状态显示为红色。使用printf格式化输出，确保各列对齐。"

2. AI生成代码的解析与优化

AI工具生成的初始代码通常需要人工检查和调整。以下是一个典型的需要关注的方面：

#!/bin/bash
# 颜色定义
RED='\033[0;31m'
GREEN='\033[0;32m'
NC='\033[0m' # No Color

# 打印表头
printf "${GREEN}%-15s %-12s %-11s %-15s %-8s %-12s %-12s %-15s %-s${NC}\n" \
    "Hostname" "Partition" "Node/State" "Num_CPU" "CPUload" "Memsize(MB)" "Freemem(MB)" "GRES/Node" "Joblist"

# 获取节点信息并处理
sinfo -o "%N %P %T %C %O %m %e %G" -h | while read node; do
    # 字段解析...
done

需要特别注意的几个技术点：

1. 字段截取安全性 ：AI生成的 awk '{print $n}' 在字段包含空格时会出错，更安全的做法是指定分隔符：

hostname=$(echo $node | awk -F' ' '{print $1}')

2. 性能优化 ：避免在循环中多次调用 squeue ，可以预先获取所有作业信息：

# 获取所有作业信息
all_jobs=$(squeue -h -o "%i %u %b %N")

3. 错误处理 ：添加对命令执行失败的检查：

nodes=$(sinfo -o "%N %P %T %C %O %m %e %G" -h) || {
    echo "Error: Failed to get node info from sinfo" >&2
    exit 1
}

3. 手动编写与AI辅助的对比分析

下表对比了传统手动编写和AI辅助开发的主要区别：

对比维度	纯手动编写	AI辅助开发
开发时间	2-3小时	30分钟
学习曲线	需要精通awk/sed	了解基础即可
调试难度	完全自行排查	可让AI解释错误
代码质量	依赖个人水平	基础结构更规范
可维护性	个人风格强烈	标准结构更易读

虽然AI能大幅提升效率，但开发者仍需具备：

1. 基础命令知识 ：理解 sinfo 、 squeue 的参数含义
2. Shell编程能力 ：能读懂并修改生成的代码
3. 调试技巧 ：当AI代码不工作时能找出问题

4. 进阶功能：增强脚本实用性

基础功能实现后，可以考虑添加一些实用增强功能：

1. 定期自动刷新 ：使用 watch 命令或循环实现自动更新

# 每30秒刷新一次
watch -n 30 ./cluster_report.sh

2. 条件过滤 ：添加参数支持只显示特定分区的节点

# 添加分区过滤参数
if [ "$1" ]; then
    nodes=$(sinfo -o "%N %P %T %C %O %m %e %G" -h -p $1)
else
    nodes=$(sinfo -o "%N %P %T %C %O %m %e %G" -h)
fi

3. 历史趋势 ：记录快照并比较资源使用变化

# 记录当前状态到日志文件
./cluster_report.sh >> /var/log/cluster_status.log

4. 告警功能 ：当关键指标超过阈值时突出显示

# CPU负载超过90%显示特别警告
if (( $(echo "$cpuload > 90" | bc -l) )); then
    cpuload="${RED}${cpuload}%${NC}"
fi

5. 部署与分享：让脚本真正产生价值

开发完成后，可以通过以下方式让脚本发挥更大作用：

1. 全局可用 ：将脚本放入 /usr/local/bin 并设置适当权限
2. 登录显示 ：在 /etc/profile.d/ 中添加脚本调用
3. Web界面 ：用 cgi-bin 或Python Flask创建简单Web界面
4. 邮件报告 ：设置cron任务定期发送集群状态邮件

对于多用户环境，需要注意：

• 权限控制：确保普通用户只能查看必要信息
• 性能影响：避免频繁执行影响管理节点性能
• 格式兼容：确保在不同终端下显示正常

在实际部署后，可以收集用户反馈持续改进。例如添加更多指标（磁盘空间、网络状态）或支持更灵活的过滤条件。