Machine learning 对整个数据集或每个小批量进行上采样

Machine learning 对整个数据集或每个小批量进行上采样,machine-learning,deep-learning,conv-neural-network,resampling,smote,Machine Learning,Deep Learning,Conv Neural Network,Resampling,Smote,我试图在一个非常大的不平衡数据集上训练我的convNet。将数据全部加载到内存并对整个数据集进行上采样将非常困难 相反,我希望以小批量加载数据,并对每个小批量进行上采样。这是重新取样和培训的有效方法吗 我感谢任何反馈 是否要使用smote或重复少数类作为上采样方法?您使用的是什么框架?我正在使用SMOTE算法和Python中的IMBRearn包。您想使用SMOTE还是重复少数类作为上采样方法?您使用的是什么框架?我正在使用SMOTE算法和Python中的IMBRearn包

我试图在一个非常大的不平衡数据集上训练我的convNet。将数据全部加载到内存并对整个数据集进行上采样将非常困难

相反,我希望以小批量加载数据,并对每个小批量进行上采样。这是重新取样和培训的有效方法吗


我感谢任何反馈

是否要使用
smote
或重复少数类作为上采样方法?您使用的是什么框架?我正在使用SMOTE算法和Python中的IMBRearn包。您想使用
SMOTE
还是重复少数类作为上采样方法?您使用的是什么框架?我正在使用SMOTE算法和Python中的IMBRearn包