Amazon web services 如何在AWS glue中检查Spark和Hadoop的版本？

我正在使用AWS（基本支持计划）。我想知道哪个版本的Spark和Hadoop（HDFS）正在AWS胶水作业中使用。这样我就可以在本地机器上设置相同的开发环境

或者，如果我知道Spark的版本，那么AWS glue jobs会使用哪个版本的Hadoop，反之亦然

因为我正在使用基本支持计划。所以，我不能向支持中心提出这个案子。 你知道我在哪里可以找到工作吗。。。Spark和Hadoop版本

---

任何形式的帮助和建议都将不胜感激。谢谢

如果使用Spark>2.0，则

1.In Pyspark:

println ("Spark Version:" + spark.version)

println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())

获取Spark版本：

print("Spark Version:" + spark.version)

在火花<2.0:

sc.version

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

sc.version

获取Hadoop版本：

sc.version

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

sc.version

2.在Scala中：

println ("Spark Version:" + spark.version)

println("Hadoop version: " + org.apache.hadoop.util.VersionInfo.getVersion())

Spark版本：

sc.version

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

sc.version

在火花<2.0:

sc.version

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

sc.version

Hadoop版本：

sc.version

print("Hadoop version: " + sc._gateway.jvm.org.apache.hadoop.util.VersionInfo.getVersion())

sc.version

---

AWS Glue支持ApacheSpark 2.2.1，如文件所述

AWS还没有记录AWS Glue anywhere的hadoop版本。然而，as AWS Glue实际上是由AWS EMR支持的，hadoop版本将是2.8.x

根据以下文档或AWS EMR上的hadoop/spark，我假设为2.8.3

---

其中发布标签5.12.2包含spark 2.2.1和hadoop 2.8.3

非常好。这救了我的命！太戏剧性了，

LoL

但是谢谢你。