aws EMR中的python虚拟环境

如何在aws EMR集群中拥有多个python虚拟环境。用户将在每个项目中使用齐柏林飞艇或Jupyter，每个项目将有不同的python库或python版本

您可以编写一个bash脚本，在包含虚拟环境及其库的名称的类似于地图的结构上循环（如果您有多个项目，这将使维护更加容易）。回路主体将包括：

创建虚拟环境：

virtualenv项目\u foo

激活虚拟环境：

源项目\u foo/bin/Activate

安装，为您的Jupyter笔记本提供Ipython内核

安装python库

将虚拟环境添加到Jupyter:

python-m ipykernel install--user--name=project\u foo

退出虚拟环境：

停用

---

现在使用在启动时运行脚本。您应该能够从Jupyter的启动器中看到您的虚拟环境。

我在2个虚拟环境的EMR引导程序中执行了以下操作，但在EMR notebookmkdir-p/mnt/project/project1/subproject1 python3-m venv/mnt/project/project1/subproject1/subproject1//mnt/project/project1/subproject1/bin/pip install pandas/mnt/project/project1/bin/pip install ipykernel/mnt/project/project1/subproject1/bin/python-m ipykernel install--user--name=subproject1mkdir-p/mnt/project/project1/subproject2 python3-m venv/mnt/project/project1/subproject2//mnt/project1/bin/pipinstall matplotlib/mnt/project/project1/subproject2/bin/pip install ipykernel/mnt/project/project1/subproject2/bin/python-m ipykernel install--user--name=subproject2@RNR

/mnt/project/project1/subproject2/bin/python-m ipykernel install--user--name=subproject2

返回什么？此外，建议使用环境源代码，而不是使用完整路径来执行安装步骤。我也尝试过这样做。我将源代码添加到环境中，并将其作为root安装。但是，在EMR笔记本中，我在内核中只看到Pyspark、Python3、Sprk和SparkR