Neural network 映射大型二进制输入的深度学习

Neural network 映射大型二进制输入的深度学习,neural-network,binary-data,deep-learning,Neural Network,Binary Data,Deep Learning,这个问题可能过于宽泛,但我会尽量使每个子主题尽可能具体 我的设置: 大二进制输入(每个样本2-4KB)(无图像) 相同大小的大二进制输出 我的目标:使用深度学习找到从二进制输入到二进制输出的映射函数 我已经生成了一个大型的训练集(>1'000'000个样本),并且可以轻松生成更多 在我对神经网络和深度学习的(公认的有限)知识中,我的计划是建立一个有2000或4000个输入节点、相同数量的输出节点并尝试不同数量的隐藏层的网络。 然后在我的数据集上训练网络(必要时等待数周),并检查输入和输出之间是否

这个问题可能过于宽泛,但我会尽量使每个子主题尽可能具体

我的设置: 大二进制输入(每个样本2-4KB)(无图像) 相同大小的大二进制输出

我的目标:使用深度学习找到从二进制输入到二进制输出的映射函数

我已经生成了一个大型的训练集(>1'000'000个样本),并且可以轻松生成更多

在我对神经网络和深度学习的(公认的有限)知识中,我的计划是建立一个有2000或4000个输入节点、相同数量的输出节点并尝试不同数量的隐藏层的网络。 然后在我的数据集上训练网络(必要时等待数周),并检查输入和输出之间是否存在相关性

将二进制数据作为单个位输入网络,还是作为更大的实体(比如一次16位,等等)更好

对于逐位输入: 我尝试过“Neural Designer”,但当我尝试加载数据集(即使是6行的小数据集)时,软件崩溃,我不得不编辑项目保存文件以设置输入和目标属性。然后它又崩溃了

我尝试过OpenNN,但它试图分配一个大小为^2的矩阵(隐藏层*输入节点),当然失败了(对不起,没有117GB的RAM可用)

是否有一个合适的开源框架可用于这种类型的应用程序 二元映射函数回归?我必须实施我自己的吗

深入学习是正确的方法吗

有人有过这类工作的经验吗? 遗憾的是,我找不到任何关于深度学习+二进制映射的论文

如有要求,我将乐意补充更多信息


感谢您为noob提供指导。

您有一个包含二进制值向量对的数据集,最大长度为4000位。您希望在对之间创建映射函数。从表面上看,这似乎并不不合理——想象一下一幅64x64的二元像素图像——它只包含4096位数据,并且在现代神经网络的范围内

在处理二进制值时,多层似乎是一个不错的选择。向网络中添加多少层实际上取决于数据中的抽象级别

你没有提到数据的来源,但我想你希望有一个不错的相关性。假设每个比特的位置是任意的,并且与它的近邻无关,我将排除卷积神经网络

这是一个很好的开源框架,它是一个科学计算框架,广泛支持机器学习算法。由于CUDA的实施,它还可以利用GPU加快处理速度。这将有望避免您等待数周的结果

如果你能提供更多的背景资料,也许我们能找到一个解决方案