Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/16.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 当MaxBins>;=最大类别数_Scala_Apache Spark_Decision Tree - Fatal编程技术网

Scala 当MaxBins>;=最大类别数

Scala 当MaxBins>;=最大类别数,scala,apache-spark,decision-tree,Scala,Apache Spark,Decision Tree,我正在学习如何使用MLLib,当maxBins>=功能的最大类别数时,我遇到ArrayOutOfBoundException 我使用kaggle.com上的一个数据集(在动物收容所上),其标题如下 动物名称日期时间输出类型输出子类型动物类型六倍输出年龄输出品种颜色 对于品种,我有1381个类别。 当使用Spark DecisionTree.trainClassifier时,如果maxBins=1381时,我得到一个ArrayOutOfBoundException val model = D

我正在学习如何使用MLLib,当maxBins>=功能的最大类别数时,我遇到ArrayOutOfBoundException

我使用kaggle.com上的一个数据集(在动物收容所上),其标题如下 动物名称日期时间输出类型输出子类型动物类型六倍输出年龄输出品种颜色

对于品种,我有1381个类别。 当使用Spark DecisionTree.trainClassifier时,如果maxBins<1381,我会得到一个例外,即maxBins应该至少为1381。 当我将maxBins>=1381时,我得到一个ArrayOutOfBoundException

   val model = DecisionTree.trainClassifier(trainingData,
      numClasses=numClasses,
      AnimalModel.categoricalFeaturesInfo(),
      impurity=impurity,
      maxDepth = a,
      maxBins=maxBins
      )
例外情况

   java.lang.ArrayIndexOutOfBoundsException: 5
       at org.apache.spark.mllib.tree.impl.DecisionTreeMetadata$$anonfun$buildMetadata$4.apply(DecisionTreeMetadata.scala:167)
at org.apache.spark.mllib.tree.impl.DecisionTreeMetadata$$anonfun$buildMetadata$4.apply(DecisionTreeMetadata.scala:164)
at scala.collection.immutable.HashMap$HashMap1.foreach(HashMap.scala:224)

数据集有26739行

maxbins必须大于决策树学习工作的类别数。maxbin异常只是一个已完成的检查。ArrayIndexOutOfBoundsException可能与maxbins值完全无关。数据集可能有问题。maxbins必须大于类别数,决策树才能学习工作。maxbin异常只是一个已完成的检查。ArrayIndexOutOfBoundsException可能与maxbins值完全无关。数据集可能有问题。