Fatal编程技术网

Multithreading 并行神经网络

multithreading algorithm parallel-processing machine-learning neural-network

Multithreading 并行神经网络,multithreading,algorithm,parallel-processing,machine-learning,neural-network,Multithreading,Algorithm,Parallel Processing,Machine Learning,Neural Network,我正试图以这种方式制作并行神经网络： 创建网络和培训集 将训练集分成N个部分（每个线程一组） 向每个线程发送网络副本和部分训练数据 每个线程上的训练网络 合并N个网络（每个线程）中的网络神经元权重 如果没有结束条件，转到3 我的问题是：如何将神经网络权重组合成一个？有趣的方法，我认为有两种方法： -加权平均值 -通过逆RMSE/MSE加权的权重Google所做的是让每个线程/节点只训练神经元的一个子集。然后，很容易把它们组合起来，因为每个神经元只写一次 不过，您必须定期将它们组合在一起，这样它们

我正试图以这种方式制作并行神经网络：

  • 创建网络和培训集
  • 将训练集分成N个部分（每个线程一组）
  • 向每个线程发送网络副本和部分训练数据
  • 每个线程上的训练网络
  • 合并N个网络（每个线程）中的网络神经元权重
  • 如果没有结束条件，转到3
    • 我的问题是：如何将神经网络权重组合成一个？

    有趣的方法，我认为有两种方法： -加权平均值
    -通过逆RMSE/MSE加权的权重

    Google所做的是让每个线程/节点只训练神经元的一个子集。然后，很容易把它们组合起来，因为每个神经元只写一次

    不过，您必须定期将它们组合在一起，这样它们就不会偏离太多

    他们用来划分网络的单位是神经元的“列”。

    可能是