带有Tensorflow实验的批处理Seq2Seq模型
我正在尝试使用和将我在本地运行的转换为使用Tensorflow分发功能。基本特征和目标设置如下:带有Tensorflow实验的批处理Seq2Seq模型,tensorflow,batch-processing,distributed-computing,sequence-to-sequence,Tensorflow,Batch Processing,Distributed Computing,Sequence To Sequence,我正在尝试使用和将我在本地运行的转换为使用Tensorflow分发功能。基本特征和目标设置如下: for every input and response (translation or prompt and response): raw input -> tokenized input -> tokenized response -> raw response 注: 特征将有一个形状[桶数][桶数输入@桶大小][输入桶大小] 目标将有一个形状[桶数][响应数@桶大小]
for every input and response (translation or prompt and response):
raw input -> tokenized input -> tokenized response -> raw response
注:
- 特征将有一个形状[桶数][桶数输入@桶大小][输入桶大小]
- 目标将有一个形状[桶数][响应数@桶大小][响应桶大小]
train_步骤
和eval_步骤
与培训和评估的迭代相关。是否有其他选项为这些步骤设置批次大小,或者实验是否在内部/自动计算批次大小train\u input\u fn
和eval\u input\u fn
可以是任何返回特征字典和目标张量的函数。在上面的例子中,我只需要一个特征张量和一个目标张量,因为我正在创建一个自定义估计器,它可以是任何形状,只要我的估计器的model_fn
期望这些形状,并且可以正确地从中返回损失。这是正确的吗