Apache spark PySpark:Spark ML MultiitlayerPerceptron失败,但其他分类器工作正常

Apache spark PySpark:Spark ML MultiitlayerPerceptron失败,但其他分类器工作正常,apache-spark,pyspark,apache-spark-ml,Apache Spark,Pyspark,Apache Spark Ml,嗨,我正在使用Spark ML训练一个模型。训练数据集有130列和1000万行。现在的问题是,每当我运行MultiLayerPerceptron时,它都会显示以下错误: org.apache.spark.sparkeexception:由于阶段失败,作业中止: 阶段1882.0中的任务43失败4次,最近一次失败:任务丢失 43.3在阶段1882.0(TID 180174、10.233.252.145、executor 6)中:java.lang.ArrayIndexOutOfBoundsExce

嗨,我正在使用Spark ML训练一个模型。训练数据集有130列和1000万行。现在的问题是,每当我运行MultiLayerPerceptron时,它都会显示以下错误:

org.apache.spark.sparkeexception:由于阶段失败,作业中止: 阶段1882.0中的任务43失败4次,最近一次失败:任务丢失 43.3在阶段1882.0(TID 180174、10.233.252.145、executor 6)中:java.lang.ArrayIndexOutOfBoundsException

有趣的是,当我使用其他分类器(如逻辑回归和随机森林)时,它不会发生

我的代码:

# Building the model

inputneurons = len(features_columns)

#Assembling the Feature Vectors
assembler = VectorAssembler(inputCols=features_columns, outputCol="features")

#Logistic Regression
mlp = MultilayerPerceptronClassifier(labelCol=label, featuresCol="features", layers=[inputneurons,300,2])

#Pipelining the assembling and modeling process
pipeline = Pipeline(stages=[assembler, mlp])
model = pipeline.fit(training_df)

火花中的MLP问题背后的原因是什么

标签中有两个以上的类别,但在多层感知器分类器中,我指定了2个输出神经元,导致ArrayIndexOutOfBoundException