Python 如何告诉slurm缓存多个提交的配置文件
我有三个剧本:Python 如何告诉slurm缓存多个提交的配置文件,python,config,slurm,sbatch,Python,Config,Slurm,Sbatch,我有三个剧本: config.yaml和script.py和slurm.sh 我使用调用script.py文件的Slurm.sh文件将作业提交到Slurm中的作业调度程序,script.py文件从config.yaml文件加载配置 它看起来是这样的: sbatch slurm.sh 现在,我更改config.yaml并提交另一个作业。但是,如果两个作业都在队列中,则config.yaml文件将被覆盖,并且两个作业将使用相同的配置 有没有办法让slurm调度程序也缓存config.yaml文件?我
config.yaml
和script.py
和slurm.sh
我使用调用script.py
文件的Slurm.sh
文件将作业提交到Slurm
中的作业调度程序,script.py
文件从config.yaml
文件加载配置
它看起来是这样的:
sbatch slurm.sh
现在,我更改config.yaml
并提交另一个作业。但是,如果两个作业都在队列中,则config.yaml
文件将被覆盖,并且两个作业将使用相同的配置
有没有办法让
slurm
调度程序也缓存config.yaml
文件?我知道它不适用于slurm.sh
文件。没有办法实现这一点。您应该在提交之前修改脚本(.sh)以指向正确的配置文件,并根据需要创建尽可能多的配置文件
另一个选项是在提交之前将配置文件条目转换为命令行参数(如果可能),并提交一个带有完全配置的命令行的脚本(因此无需读取.yaml文件)。这很遗憾。但是我想我不得不接受这一点。今天刚刚学习了sbatch的
--wrap
选项。它可能对您的场景很有用,但您必须提取yaml配置并通过命令行将其传递给脚本。谢谢您的提示!