Python 在emr群集上安装com.databricks.spark.xml

有人知道如何在EMR集群上安装com.databricks.spark.xml包吗

我成功连接到主emr，但不知道如何在emr集群上安装软件包

代码

sc.install_pypi_package("com.databricks.spark.xml")

在EMR主节点上：

cd /usr/lib/spark/jars
sudo wget https://repo1.maven.org/maven2/com/databricks/spark-xml_2.11/0.9.0/spark-xml_2.11-0.9.0.jar

确保根据Spark版本和中提供的指南选择正确的罐子

然后，启动Jupyter笔记本，您应该能够运行以下操作：

df = spark.read.format('com.databricks.spark.xml').options(rootTag='objects').options(rowTag='object').load("s3://bucket-name/sample.xml")