Amazon web services EMR 6.1.0上的默认Python3内核不在我的集群上？

我注意到，当使用连接到带有Hadoop、Spark和Livy的EMR6.1.0集群的EMR笔记本电脑时，有些奇怪

你看，我在主节点上安装的包在默认的Python3内核中是不可用的，但是它们在默认的PySpark内核中是可用的

当我在PySpark内核上获得主机名时，我可以看到它与主节点的私有dns名称匹配。然而，当我运行Python3或终端内核时，我会得到一个不同的主机名，这个主机名与集群上的任何节点都不匹配

当我使用Python3内核时，Python3代码从哪里运行？当我选择一个终端内核时，我使用的是什么EC2机器终端？我检查过了，我的主机上也没有docker容器

---

有没有可能使用我主人的Python 3作为内核而不是那些？

您可以尝试EMR 5.32+或6.2+版本，以获得Python和Pyspark内核之间的一致体验。区别在于，从这些版本开始，EMR使用Jupyter Enterprise Gateway直接在集群上运行内核。在这些版本之前，内核不是在集群上运行的，而是在笔记本实例上运行的，对于pyspark内核，它使用Livy在集群上远程提交Spark作业