Tensorflow 一台设备的批量大小的最佳选择是什么（在TF中使用镜像策略）？
问题： 假设您有4个GPU（每个GPU有2GB内存）来训练您的深度学习模型。数据集中有1000个数据点，占用大约10GB的存储空间。一台设备的批量大小的最佳选择是什么（在TF中使用镜像策略）Tensorflow 一台设备的批量大小的最佳选择是什么（在TF中使用镜像策略）？,tensorflow,batchsize,Tensorflow,Batchsize,问题： 假设您有4个GPU（每个GPU有2GB内存）来训练您的深度学习模型。数据集中有1000个数据点，占用大约10GB的存储空间。一台设备的批量大小的最佳选择是什么（在TF中使用镜像策略） 有人能帮我解决这个作业问题吗？提前感谢。每个GPU都有2GB的内存，有4个GPU，这意味着您总共有8 GB的内存可供使用。 现在，您不能一次将10GB的数据分成8GB，因此您可以将10GB分成两半，并且总批量大小为500个数据点（或者更确切地说，512更接近2的幂） 现在，您将这500个数据点分布在4个GP
有人能帮我解决这个作业问题吗？提前感谢。每个GPU都有2GB的内存，有4个GPU，这意味着您总共有8 GB的内存可供使用。 现在，您不能一次将10GB的数据分成8GB，因此您可以将10GB分成两半，并且总批量大小为500个数据点（或者更确切地说，512更接近2的幂） 现在，您将这500个数据点分布在4个GPU上，每个设备的批处理大小约为128个数据点
因此，总体批处理大小将是512个数据点，每个GPU批处理大小将是128个。我在继续中的另一个问题是：在前一种情况下，使用的总体批处理大小是多少？