Parallel processing 不带'的拱的平行模型；不适合1个GPU_Parallel Processing_Tensorflow_Distributed

Parallel processing 不带'的拱的平行模型；不适合1个GPU

parallel-processing tensorflow

Parallel processing 不带'的拱的平行模型；不适合1个GPU,parallel-processing,tensorflow,distributed,Parallel Processing,Tensorflow,Distributed,我有一个tensorflow模型，它太大了，无法装入单个TITAN X GPU。但是，我可以访问4个这样的GPU。tensorflow是否支持模型并行训练范式，其中不同的GPU训练同一网络的不同层如果是这样，我在哪里可以找到帮助我做到这一点的资源？@YaroslavBulatov这是数据并行！每个GPU上都放置了整个模型的副本。我想在不同的GPU上有模型的不同部分，因为它不适合一个GPU！您可以将不同的变量/操作分配给不同的设备。@这样做仍然不能使我适应模型。我仍然看到GPU的内存分配与GPU

我有一个tensorflow模型，它太大了，无法装入单个TITAN X GPU。但是，我可以访问4个这样的GPU。tensorflow是否支持模型并行训练范式，其中不同的GPU训练同一网络的不同层

如果是这样，我在哪里可以找到帮助我做到这一点的资源？

@YaroslavBulatov这是数据并行！每个GPU上都放置了整个模型的副本。我想在不同的GPU上有模型的不同部分，因为它不适合一个GPU！您可以将不同的变量/操作分配给不同的设备。@这样做仍然不能使我适应模型。我仍然看到GPU的内存分配与GPU的完整型号相对应。@AbhijatBiswas您能解决这个问题吗？我遇到了一个类似的问题well@YaroslavBulatov这就是数据并行！每个GPU上都放置了整个模型的副本。我想在不同的GPU上有模型的不同部分，因为它不适合一个GPU！您可以将不同的变量/操作分配给不同的设备。@这样做仍然不能使我适应模型。我仍然看到GPU的内存分配与GPU的完整型号相对应。@AbhijatBiswas您能解决这个问题吗？我也遇到了类似的问题