Apache spark ApacheSpark-如果属性拼写错误会发生什么情况

Apache spark ApacheSpark-如果属性拼写错误会发生什么情况,apache-spark,kryo,Apache Spark,Kryo,我正在修改Apache spark中的默认属性。我在AWS上使用EMR旋转集群。但是,我正在设置属性,不确定如何检查我的新配置是否正在替换默认配置 例如,我想修改Spark中的默认序列化。因此,我在创建集群时提供以下配置 “分类”:“火花默认值”, “属性”:{ “spark.serializer”:“org.apache.spark.serializer:KryoSerializer” 然后,当我通过端口4040上的spark UK或through Thread方法检查spark属性时,我看到

我正在修改Apache spark中的默认属性。我在AWS上使用EMR旋转集群。但是,我正在设置属性,不确定如何检查我的新配置是否正在替换默认配置

例如,我想修改Spark中的默认序列化。因此,我在创建集群时提供以下配置

“分类”:“火花默认值”, “属性”:{
“spark.serializer”:“org.apache.spark.serializer:KryoSerializer”

然后,当我通过端口4040上的spark UK或through Thread方法检查spark属性时,我看到该属性已设置。但是,不清楚spark是否正在使用该属性。是否有方法进行检查


我这样问是因为我曾经错发了“spark.serializer”但是仍然看到了属性集。我希望看到抛出的错误显示正在尝试设置未知属性。

正如您已经测试过的,如果拼写错误,它将被接受,但不会被使用。因为可能的属性列表已打开,用户可以设置自己的属性,并且不会出现潜在未使用属性的错误一个选择