Neural network 映射大型二进制输入的深度学习
这个问题可能过于宽泛,但我会尽量使每个子主题尽可能具体 我的设置: 大二进制输入(每个样本2-4KB)(无图像) 相同大小的大二进制输出 我的目标:使用深度学习找到从二进制输入到二进制输出的映射函数 我已经生成了一个大型的训练集(>1'000'000个样本),并且可以轻松生成更多 在我对神经网络和深度学习的(公认的有限)知识中,我的计划是建立一个有2000或4000个输入节点、相同数量的输出节点并尝试不同数量的隐藏层的网络。 然后在我的数据集上训练网络(必要时等待数周),并检查输入和输出之间是否存在相关性 将二进制数据作为单个位输入网络,还是作为更大的实体(比如一次16位,等等)更好 对于逐位输入: 我尝试过“Neural Designer”,但当我尝试加载数据集(即使是6行的小数据集)时,软件崩溃,我不得不编辑项目保存文件以设置输入和目标属性。然后它又崩溃了 我尝试过OpenNN,但它试图分配一个大小为^2的矩阵(隐藏层*输入节点),当然失败了(对不起,没有117GB的RAM可用) 是否有一个合适的开源框架可用于这种类型的应用程序 二元映射函数回归?我必须实施我自己的吗 深入学习是正确的方法吗 有人有过这类工作的经验吗? 遗憾的是,我找不到任何关于深度学习+二进制映射的论文 如有要求,我将乐意补充更多信息Neural network 映射大型二进制输入的深度学习,neural-network,binary-data,deep-learning,Neural Network,Binary Data,Deep Learning,这个问题可能过于宽泛,但我会尽量使每个子主题尽可能具体 我的设置: 大二进制输入(每个样本2-4KB)(无图像) 相同大小的大二进制输出 我的目标:使用深度学习找到从二进制输入到二进制输出的映射函数 我已经生成了一个大型的训练集(>1'000'000个样本),并且可以轻松生成更多 在我对神经网络和深度学习的(公认的有限)知识中,我的计划是建立一个有2000或4000个输入节点、相同数量的输出节点并尝试不同数量的隐藏层的网络。 然后在我的数据集上训练网络(必要时等待数周),并检查输入和输出之间是否
感谢您为noob提供指导。您有一个包含二进制值向量对的数据集,最大长度为4000位。您希望在对之间创建映射函数。从表面上看,这似乎并不不合理——想象一下一幅64x64的二元像素图像——它只包含4096位数据,并且在现代神经网络的范围内 在处理二进制值时,多层似乎是一个不错的选择。向网络中添加多少层实际上取决于数据中的抽象级别 你没有提到数据的来源,但我想你希望有一个不错的相关性。假设每个比特的位置是任意的,并且与它的近邻无关,我将排除卷积神经网络 这是一个很好的开源框架,它是一个科学计算框架,广泛支持机器学习算法。由于CUDA的实施,它还可以利用GPU加快处理速度。这将有望避免您等待数周的结果 如果你能提供更多的背景资料,也许我们能找到一个解决方案