可以在HTCondor中检索python脚本的输出吗?

可以在HTCondor中检索python脚本的输出吗?,python,parallel-processing,condor,Python,Parallel Processing,Condor,我想运行一些python脚本,在HTCondor管理的集群上返回一些字典。我在另一个运行MPI/Slurm和mpi4py的集群上运行了同样的操作,我能够在不保存文件的情况下收集输出并将它们传输到主节点。我无法理解如何在HTCondor中实现这一点(即使使用python包装器) 可以在HTCondor中检索python脚本的输出吗? 我是否需要使用schedd.retrieve(“clustrid==%d”%cluster)命令?如果是这样,请举个例子 谢谢 您可以在提交文件中指定要将标准输出保存

我想运行一些python脚本,在HTCondor管理的集群上返回一些字典。我在另一个运行MPI/Slurm和mpi4py的集群上运行了同样的操作,我能够在不保存文件的情况下收集输出并将它们传输到主节点。我无法理解如何在HTCondor中实现这一点(即使使用python包装器)

可以在HTCondor中检索python脚本的输出吗? 我是否需要使用
schedd.retrieve(“clustrid==%d”%cluster)
命令?如果是这样,请举个例子


谢谢

您可以在提交文件中指定要将标准输出保存到的文件(另请参见)

您可以使用
htcondor\u tail
查看输出(不确定python api中的等价物是什么)


稍微偏离主题:如果您运行python,您也可以使用例如Dask来执行远程python操作(另请参见)

尝试执行相同的操作。你找到方法了吗?最后我放弃了,在保存了中间文件后创建了DAG。正如你所建议的,我转换到dask jobque,在HTCondor上处理这些作业。它工作得非常好,并且更容易检索作业的输出。