Python 用PySpark拟合CrossValidator对象以解决训练数据错误
我在这里发现了很多关于从一个合适的CrossValidator对象中提取最佳模型参数的问题,但是我没有发现任何关于这个特定错误的问题。 我正在尝试创建一个CrossValidator对象,并将其与我的培训数据相匹配,然后再根据我的初始线性回归模型评估指标。我的数据集已被分解成适当的格式,并分为训练集和测试集,并成功地应用于第一个线性回归模型。第一次尝试交叉验证时,由于最后一行代码返回 “IllegalArgumentException:标签不存在。可用:PE、功能、交叉验证程序\u 3fda633cd32d\u rand、预测”,其中“PE”是我的标签Python 用PySpark拟合CrossValidator对象以解决训练数据错误,python,machine-learning,pyspark,cross-validation,Python,Machine Learning,Pyspark,Cross Validation,我在这里发现了很多关于从一个合适的CrossValidator对象中提取最佳模型参数的问题,但是我没有发现任何关于这个特定错误的问题。 我正在尝试创建一个CrossValidator对象,并将其与我的培训数据相匹配,然后再根据我的初始线性回归模型评估指标。我的数据集已被分解成适当的格式,并分为训练集和测试集,并成功地应用于第一个线性回归模型。第一次尝试交叉验证时,由于最后一行代码返回 “IllegalArgumentException:标签不存在。可用:PE、功能、交叉验证程序\u 3fda63
from pyspark.ml.regression import LinearRegression
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder
lrCV = LinearRegression(featuresCol='features', labelCol='PE', maxIter=50)
#Creating a grid of parameter values that the cross-validation will use
paramGrid = ParamGridBuilder() \
.addGrid(lrCV.regParam, [1, 0.1, 0.01]) \
.addGrid(lrCV.elasticNetParam, [0.0, 0.5, 1.0, 2]) \
.addGrid(lrCV.fitIntercept, [True, False]) \
.build()
#Create an instance of the CrossValidator object and enter our predefined parameters
crossVal = CrossValidator(estimator=lrCV,
estimatorParamMaps=paramGrid,
evaluator=RegressionEvaluator(),
numFolds=5)
lrModelCV = crossVal.fit(train)
有人有什么建议吗?我猜这是一件我忽略了的非常简单的事情,但我一生都找不到它是什么。提前感谢。默认情况下,CrossValidation希望输出标签命名为
label
标签
,以避免所有混乱labelCol='PE'
传递给reg退评估器()
RegressionEvaluator(labelCol='PE')
你能把labelCol='PE'传递给
回归评估器()
并告诉我它是否有效吗?@A.B它有效!事后看来,这似乎很明显,但我看不出来。非常感谢,它的工作正如预期的那样,现在我已将其转换为答案,请随意接受:)