tensorflow中基于LSTM的分布式训练

tensorflow中基于LSTM的分布式训练,tensorflow,machine-learning,distributed-computing,lstm,backpropagation,Tensorflow,Machine Learning,Distributed Computing,Lstm,Backpropagation,LSTM是算法还是节点?如果在模型中使用它,如果我使用分布式训练,反向传播会发生冲突吗?LSTM两者都不是。这是一个递归神经网络(参见)。对于tensorflow,您可能会感到困惑,因为有一个单元的概念(例如,BasicLSTMCell),它基本上是一个用于创建形成一个或多个层的单元的工厂。最后,它们都转化为计算图中的节点。您可以在中找到一个很好的用法示例。顺便说一下,训练的算法是相同的-backprop 现在,关于分布式训练,有两种类型的并行:数据并行和模型并行,并且没有一种会破坏备份。唯一的

LSTM是算法还是节点?如果在模型中使用它,如果我使用分布式训练,反向传播会发生冲突吗?

LSTM两者都不是。这是一个递归神经网络(参见)。对于tensorflow,您可能会感到困惑,因为有一个单元的概念(例如,
BasicLSTMCell
),它基本上是一个用于创建形成一个或多个层的单元的工厂。最后,它们都转化为计算图中的节点。您可以在中找到一个很好的用法示例。顺便说一下,训练的算法是相同的-backprop


现在,关于分布式训练,有两种类型的并行:数据并行和模型并行,并且没有一种会破坏备份。唯一的例外可能是异步更新的数据并行性,这确实需要某些技巧才能工作,但tensorflow中没有一流的支持。我认为您最好使用更简单的方法来分发模型(请参阅)。因此,答案很可能是:不,backprop可以正常工作。

很抱歉,严格来说,LSTM是一种神经元结构,而不是神经网络。