Tensorflow 如何在不'；你没有GPU吗？_Tensorflow_Deep Learning_Distributed Computing_Distributed

Tensorflow 如何在不'；你没有GPU吗？

tensorflow deep-learning

Tensorflow 如何在不'；你没有GPU吗？,tensorflow,deep-learning,distributed-computing,distributed,Tensorflow,Deep Learning,Distributed Computing,Distributed,假设我们有一个简单的带有几个卷积层的张量流模型。我们喜欢在没有配备GPU的计算机集群上训练这个模型。该集群的每个计算节点可能有1个或多个核心。可以开箱即用吗？如果没有，哪些软件包能够做到这一点？这些包能够执行数据和模型并行吗？根据 Strategy是一个TensorFlow API，用于跨多个GPU、多台机器或TPU分发培训如上所述，考虑到所有设备应在同一网络中，它支持CPU进行分布式培训是的，您可以将多个设备用于培训模型，并且需要在两个设备上进行集群和工作人员配置，如下所示 tf_con

假设我们有一个简单的带有几个卷积层的张量流模型。我们喜欢在没有配备GPU的计算机集群上训练这个模型。该集群的每个计算节点可能有1个或多个核心。可以开箱即用吗？如果没有，哪些软件包能够做到这一点？这些包能够执行数据和模型并行吗？

根据

Strategy是一个TensorFlow API，用于跨多个GPU、多台机器或TPU分发培训

如上所述，考虑到所有设备应在同一网络中，它支持CPU进行分布式培训

是的，您可以将多个设备用于培训模型，并且需要在两个设备上进行集群和工作人员配置，如下所示

tf_config = {
    'cluster': {
        'worker': ['localhost:1234', 'localhost:6789']
    },
    'task': {'type': 'worker', 'index': 0}
}

要了解配置和培训模式，请参阅

据

tf.distribute.Strategy

集成到

tf.keras

，因此当

model.fit

与

tf.distribute.Strategy

实例一起使用，然后使用模型的

strategy.scope（）

允许创建分布式变量。这允许它在您的计算机上平均分配您的输入数据设备

注：在处理海量数据和复杂模型（即w.r.t性能）时，使用分布式培训可以受益匪浅。

根据