Machine learning 非正统使用深度学习来发现隐藏模式

如果您能对我在分析中应用的策略提出意见/提供帮助，我将不胜感激。简言之，我的情况是：

1) My data have biological origin, collected in a period of 120s, from a
 subject receiving, each time, one of possible three stimuli (response label 1
 to 3), in a random manner, one stimulus per second (trial). Sampling 
 frequency is 256 Hz and 61 different sensors (input variables). So, my 
 dataset has 120x256 rows and 62 columns (1 response label + 61 input 
 variables);
2) My goal is to identify if there is an underlying pattern for each stimulus.
 For that, I would like to use deep learning neural networks to test my
 hypothesis, but not in a conventional way (to predict the stimulus from a
 single observation/row).
3) My approach is to divide the whole dataset, after shuffling per row
 (avoiding any time bias), in training and validation sets (50/50) and then to
 run the deep learning algorithm. The division does not segregate trial events
 (120), so each training/validation sets should contain data (rows) from the
 same trial (but never the same row). If there is a dominant pattern per
 stimulus, the validation confusion matrix error should be low. If there is a
 dominant pattern per trial, the validation confusion matrix error should be
 high. So, the validation confusion matrix error is my indicator of the
 presence of a hidden pattern per stimulus;

如果您能就我的逻辑的有效性向我提供任何意见，我将不胜感激。我想强调的是，我并不是试图根据世界其他地区的投入预测刺激方案

谢谢。

是的，您可以在交叉验证集中使用分类性能，这超出了论证每个类的示例中存在模式或关系的可能性。如果在一个单独的、以前从未见过的测试集中发现类似的性能，那么争论将更加激烈

如果深层神经网络、SVM或任何其他分类器能够比chance更好地分类，则意味着：

在每个预测类的训练集样本中都有信息（模式）

该模式是可由分类器学习的

而且该信息并非特定于培训集（无过度学习）

因此，如果分类性能超过偶然性，则上述3个条件为真。如果没有，则一个或多个条件可能为假。训练变量可能不包含任何有助于预测课程的信息。或选择预测变量，但它们与类之间的关系太复杂，分类器无法学习。或者分类器学习过度，CV集性能处于偶然水平或更差

以下是一篇论文（开放获取），它使用了类似的逻辑来论证功能磁共振成像活动包含了关于一个人正在观看的图像的信息：

---

注意：根据所使用的分类器（尤其是DNN，但决策树的情况更糟），这只会告诉您是否存在模式，而不会告诉您该模式是什么

谢谢你的回答和文章。我完全同意你的观点。我面临的主要批评与DNN如何正确猜测响应标签有关。一旦每个试验事件没有分离（来自同一试验/事件的不同行/观察可以属于训练和验证集），就有人说DNN是基于它所属的试验（例如通过相似性）而不是刺激“找到”正确的类别。我已经测试了这两种情况，并构建了不同的DNN（重要性按不同顺序变化）。我怎么能反驳这种怀疑呢？啊，污染。有没有办法确保CV集不包含训练集中出现的试验行？例如，将来自两个不同实验的数据分开，例如，您正在对来自exp1的数据进行培训，并对来自exp2的数据进行DNN测试，以便将所有数据分开。完全分开会导致偶然错误。但使用每行输入来预测整个事件（相当于256行）似乎并不正确。如果将其视为整体事件，并进行隔离，则错误概率为一半。我的第二种方法是检查每个试验行之间的余弦相似性。平均而言，角度仅在nxn+1时小于20度。然后，我降低了训练/验证数据集之间的比率（训练行数减少）。随着预期错误的增加，但即使有2%的培训x 98%的验证，错误的几率也只有一半。有任何意见/建议吗？您是否尝试过合并每个事件的后续行，然后使用这些行作为输入，如在卷积dnn中？例如第1行、第2行、第3行=A、第2行、第3行、第4行=A。。。。第257行，第258行，第259行=B，r258，r259，r260=B。。。等等。在本例中，我使用的窗口大小为3行，但您可以尝试不同的窗口大小，最多256行。在我看来，您正在尝试进行多通道时间序列分类，例如：