Azure 点燃HDInsight的火花。为什么我编辑的spark-defaults.conf会被覆盖?

Azure 点燃HDInsight的火花。为什么我编辑的spark-defaults.conf会被覆盖?,azure,apache-spark,azure-hdinsight,Azure,Apache Spark,Azure Hdinsight,我有一个运行在Azure HDInsight(Windows)上的Spark群集。 我必须在spark defaults.conf中编辑spark.driver.extraClassPath和spark.executor.extraClassPath以将路径添加到依赖项文件夹(JDBC驱动程序)。这很好用,但是每隔一段时间这个文件就会被覆盖,我就会丢失我所做的更改。值将转到原始值 这是预期的行为吗?为什么会这样?这是Spark的Windows部署特有的吗?我可以安全地关闭此行为吗?这是由于vm重

我有一个运行在Azure HDInsight(Windows)上的Spark群集。 我必须在
spark defaults.conf
中编辑
spark.driver.extraClassPath
spark.executor.extraClassPath
以将路径添加到依赖项文件夹(JDBC驱动程序)。这很好用,但是每隔一段时间这个文件就会被覆盖,我就会丢失我所做的更改。值将转到原始值


这是预期的行为吗?为什么会这样?这是Spark的Windows部署特有的吗?我可以安全地关闭此行为吗?

这是由于vm重新映像造成的。您必须在资源调配过程中自定义集群。请参阅

这是由于vm重新映像而导致的。您必须在资源调配过程中自定义集群。请参见

这根本不是正常情况或预期情况。当然,Spark中没有任何内容会写入该文件。文件怎么了?它变空了吗?在mint Spark中,文件不存在,只有
Spark defaults.conf.template
。是的,这很奇怪。它返回到默认值这根本不是正常的或预期的。当然,Spark中没有任何内容会写入该文件。文件怎么了?它变空了吗?在mint Spark中,文件不存在,只有
Spark defaults.conf.template
。是的,这很奇怪。它回到了默认值不,我认为这与重新映像无关。大多数情况下,从我编辑新值到文件被覆盖、我的应用程序停止工作的时间不超过5分钟。不,我认为这与重新映像无关。大多数情况下,从我编辑新值到文件被覆盖和我的应用程序停止工作的时间不超过5分钟。