Apache spark IBM Analytics Engine-如果我将Ambari配置作为高级选项的一部分通过,则群集创建将失败
我在IBMCloud上使用AnalyticsEngine,并尝试通过高级资源调配选项中的Ambari配置,如下所示Apache spark IBM Analytics Engine-如果我将Ambari配置作为高级选项的一部分通过,则群集创建将失败,apache-spark,ibm-cloud,analytics-engine,Apache Spark,Ibm Cloud,Analytics Engine,我在IBMCloud上使用AnalyticsEngine,并尝试通过高级资源调配选项中的Ambari配置,如下所示 { "ambari_config": { "hardware_config": "default", "software_package": "ae-1.2-hive-spark", "num_compute_nodes": 1, "advanced_options": { "ambar
{
"ambari_config": {
"hardware_config": "default",
"software_package": "ae-1.2-hive-spark",
"num_compute_nodes": 1,
"advanced_options": {
"ambari_config": {
"spark2-defaults": {
"spark.dynamicAllocation.minExecutors": 1,
"spark.shuffle.service.enabled": true,
"spark.dynamicAllocation.maxExecutors": 2,
"spark.dynamicAllocation.enabled": true
}
}
}
}
}
我遵循此文档以通过上述配置
在多次退出之后,我发现每次集群请求都失败了 查看我的请求后,我发现我正在为我未接受的请求传递两次ambari_config属性 对我有效的json如下所示
{
"hardware_config": "default",
"software_package": "ae-1.2-hive-spark",
"num_compute_nodes": 1,
"advanced_options": {
"ambari_config": {
"spark2-defaults": {
"spark.dynamicAllocation.minExecutors": 1,
"spark.shuffle.service.enabled": true,
"spark.dynamicAllocation.maxExecutors": 2,
"spark.dynamicAllocation.enabled": true
}
}
}
}
集群创建可能失败的另一种情况是InvalidTopologyException:堆栈中未定义以下配置类型:[spar2配置单元站点覆盖] 上述问题是因为用户想要在其中添加或修改属性的配置属性文件的定义错误