Amazon web services 将python包安装到Sagemaker笔记本电脑中的PySpark内核

有人知道如何在AWS Sagemaker笔记本实例上安装软件包，以便它们在PySpark内核中可用吗？我现在尝试了几次，包括生命周期脚本，但似乎我错过了正确的python环境。有问题的包是

joblib

，但我想这不重要

感谢您使用亚马逊SageMaker

PySpark内核不同于任何其他内核，它只在有EMR集群连接时才运行。而生命周期配置在笔记本实例投入使用之前运行。因此，您不能使用Lifecycle Config在PySpark内核中安装软件包，软件包只能在内核启动并连接到EMR集群后安装

为了将软件包安装到PySpark内核，您可以在内核启动后执行

pip install

，它将在EMR cluster master上执行该命令

谢谢

---

Neelam

他们提供了在sagemaker python sdk中传递requirements.txt的功能：。您还可以查看其中一条注释，其中用户使用python脚本本身安装了所需的依赖项？我是说SageMaker笔记本实例。将更新我的问题在这种情况下，也许您可以阅读此aws文档：-）我做了，但这不适用于PySpark内核。您可以使用“！pip install…”直接从运行相关内核的笔记本中的单元格安装