Machine learning 如果我正在对训练数据执行数据预处理,是否有必要对测试数据执行相同的预处理?

Machine learning 如果我正在对训练数据执行数据预处理,是否有必要对测试数据执行相同的预处理?,machine-learning,normalization,training-data,data-cleaning,Machine Learning,Normalization,Training Data,Data Cleaning,例如,如果我找到训练数据的平均值和方差,然后将其标准化,对于测试数据,我应该使用相同的均值和方差,还是应该找到测试数据的均值和方差。您应该使用训练数据上使用的均值和方差。这确保了两组数据的处理方法相同,不应使用看不见(测试)数据集的平均值/方差

例如,如果我找到训练数据的
平均值
方差
,然后
将其标准化
,对于测试数据,我应该使用相同的
均值
方差
,还是应该找到测试数据的
均值
方差

您应该使用训练数据上使用的均值和方差。这确保了两组数据的处理方法相同,不应使用看不见(测试)数据集的平均值/方差