Tensorflow 使用由2D样本构成的张量为TFX管道馈电

Tensorflow 使用由2D样本构成的张量为TFX管道馈电,tensorflow,pipeline,tensor,tfx,Tensorflow,Pipeline,Tensor,Tfx,我在尝试将数据导入TFX管道时遇到了一些问题,如果有人能为我指出正确的方向,我将非常感激。我有一个3D参差不齐(或者稀疏,如果需要的话)张量,其中每个2D切片都是一个示例,我想输入到我的管道中。每个二维张量由数量可变的行组成,但它们共同构成一个示例,而不仅仅是一批示例。编码此结构的最佳方式是什么,以便tfx管道的ExampleGen组件可以将其馈送到管道中? 到目前为止,我已经尝试按照本指南中的说明在tf.train.SequenceExample中进行转换,以便每个特征在值字段中都有一个向量,

我在尝试将数据导入TFX管道时遇到了一些问题,如果有人能为我指出正确的方向,我将非常感激。我有一个3D参差不齐(或者稀疏,如果需要的话)张量,其中每个2D切片都是一个示例,我想输入到我的管道中。每个二维张量由数量可变的行组成,但它们共同构成一个示例,而不仅仅是一批示例。编码此结构的最佳方式是什么,以便tfx管道的ExampleGen组件可以将其馈送到管道中? 到目前为止,我已经尝试按照本指南中的说明在tf.train.SequenceExample中进行转换,以便每个特征在值字段中都有一个向量,并将结果写入tf.Record。出于某种原因,我真的很难把它打开

任何帮助都将不胜感激


Ps:请注意,张量的第三个维度相当长,比如40k,因此将每个示例写入tf.Record将生成相同数量的文件,在我看来,这是不切实际、低效且不太优雅的,但我很高兴我错了。

请发布一个工作示例,说明您遇到的问题。请参见如何创建一个。