Python Tensorflow分布式训练中的数据准备与加载_Python_Tensorflow_Pipeline

Python Tensorflow分布式训练中的数据准备与加载

python tensorflow

Python Tensorflow分布式训练中的数据准备与加载,python,tensorflow,pipeline,Python,Tensorflow,Pipeline,假设ImageNet的CNN ResNet50处于多节点分布式训练中，并假设每个历元应通过数据并行性在节点间迭代每个训练样本是否总是保证“对每个样本迭代一次且仅迭代一次”？或者是关于可能性如果可以保证，TF是否需要任何协调人（例如节点0）在每个小批量之前协调所有节点？如分区样本，如节点0加载样本1-10K；节点2加载样本10K-20K 如果是这样，这是否意味着对于给定节点，它始终在0…N纪元中加载相同（或固定）的数据集/文件？尽管步骤中的实际样本顺序可能会混乱

假设ImageNet的CNN ResNet50处于多节点分布式训练中，并假设每个历元应通过数据并行性在节点间迭代每个训练样本

是否总是保证“对每个样本迭代一次且仅迭代一次”？或者是关于可能性

如果可以保证，TF是否需要任何协调人（例如节点0）在每个小批量之前协调所有节点？如分区样本，如节点0加载样本1-10K；节点2加载样本10K-20K

如果是这样，这是否意味着对于给定节点，它始终在0…N纪元中加载相同（或固定）的数据集/文件？尽管步骤中的实际样本顺序可能会混乱