Python 如何告诉slurm缓存多个提交的配置文件

Python 如何告诉slurm缓存多个提交的配置文件,python,config,slurm,sbatch,Python,Config,Slurm,Sbatch,我有三个剧本: config.yaml和script.py和slurm.sh 我使用调用script.py文件的Slurm.sh文件将作业提交到Slurm中的作业调度程序,script.py文件从config.yaml文件加载配置 它看起来是这样的: sbatch slurm.sh 现在,我更改config.yaml并提交另一个作业。但是,如果两个作业都在队列中,则config.yaml文件将被覆盖,并且两个作业将使用相同的配置 有没有办法让slurm调度程序也缓存config.yaml文件?我

我有三个剧本:

config.yaml
script.py
slurm.sh

我使用调用
script.py
文件的
Slurm.sh
文件将作业提交到
Slurm
中的作业调度程序,
script.py
文件从
config.yaml
文件加载配置

它看起来是这样的:

sbatch slurm.sh

现在,我更改
config.yaml
并提交另一个作业。但是,如果两个作业都在队列中,则
config.yaml
文件将被覆盖,并且两个作业将使用相同的配置


有没有办法让
slurm
调度程序也缓存
config.yaml
文件?我知道它不适用于
slurm.sh
文件。

没有办法实现这一点。您应该在提交之前修改脚本(.sh)以指向正确的配置文件,并根据需要创建尽可能多的配置文件


另一个选项是在提交之前将配置文件条目转换为命令行参数(如果可能),并提交一个带有完全配置的命令行的脚本(因此无需读取.yaml文件)。

这很遗憾。但是我想我不得不接受这一点。今天刚刚学习了sbatch的
--wrap
选项。它可能对您的场景很有用,但您必须提取yaml配置并通过命令行将其传递给脚本。谢谢您的提示!