Cluster computing 如何提供奇点图像,用户可以从我们提供的目录中添加自定义软件集

Cluster computing 如何提供奇点图像,用户可以从我们提供的目录中添加自定义软件集,cluster-computing,reproducible-research,singularity-container,Cluster Computing,Reproducible Research,Singularity Container,我们希望提高我们研究所分析的再现性。为此,我们考虑实施一个基于的系统。其想法是,在分析开始时,用户可以选择一种机器配置(以后必须进行修改),该配置将一直坚持到项目完成为止。然后,图像与分析一起存档。理想情况下,用户不必在此过程中发出系统管理命令(安装软件包等) 她只是提出了一个请求,比如“我需要一个带有tidyverse和Python 3的R,以及这个和那个内部包”,然后她得到了一个命令,可以使用它将ssh连接到具有这些特性的singularity容器中。当她提出一个新的请求时,她会得到程序的最

我们希望提高我们研究所分析的再现性。为此,我们考虑实施一个基于的系统。其想法是,在分析开始时,用户可以选择一种机器配置(以后必须进行修改),该配置将一直坚持到项目完成为止。然后,图像与分析一起存档。理想情况下,用户不必在此过程中发出系统管理命令(安装软件包等)

她只是提出了一个请求,比如“我需要一个带有tidyverse和Python 3的R,以及这个和那个内部包”,然后她得到了一个命令,可以使用它将ssh连接到具有这些特性的singularity容器中。当她提出一个新的请求时,她会得到程序的最新版本,但一旦部署了容器,这些版本就不再改变了

当我想到多个用户将需要不同的软件组合这一事实时,这就变得很棘手了我是否需要为软件和软件扩展包的每个组合提供一个映像?如果我只想一个场景,用户可以选择任意组合{R,Julia,Python,R-tidyverse,R-data.table,R-where-genomic-analysis-package-on-bioconductor,Python-…}

  • 在纹理中是否有特征选择方法

    singularity pull library://alpine:3.7 +r:3.2.1 +python3:3.7 +r-package:1.2.3
    
    这样用户就可以

    ssh cluster01 -- singularity shell project-abc.simg
    
    然后开始/继续工作

  • 如果没有,是否有其他方法可以使用singularity向用户提供自定义机器配置


我可以找到,但这似乎只是将多个容器作为彼此相邻的服务运行。因此,图像可以保持分离。我必须合并它们。

是的,对于Singularity,必须为每个可能的包组合提供一个专用图像

通过将服务器配置更改为包管理器或nix分支,可以为每个用户选择一组应用程序。这里的概念是,每个应用程序/库都位于自己的目录中,其名称是应用程序的哈希因此,多个应用程序版本可以共存,并且每个应用程序都可以链接到同一库的另一个版本

用户可以选择一组目录作为用户配置文件。这是一个将符号链接到相应应用程序文件夹中二进制文件的文件夹。从:

因此,每个用户都可以根据自己的喜好设置环境,甚至可以按位复制

分析后,可将轮廓转换为图像。我知道使用GUIX(tar、Docker、Singularity)是可能的


对于尼克斯,我不确定。GitHub上有一个项目,但自2015年以来一直处于休眠状态。也许将所需的
/nix/store
子集复制到一个文件夹中,拉出一个,然后将该图像的
/nix/store
绑定到您自己的文件夹中就足够了?

。。。刚刚找到并且。。。如果应用程序只是提供了一种以结构化方式注册容器中已安装应用程序的方法,则将更新。每个应用程序组合的专用容器映像仍在使用中