保存预处理Tensorflow变换函数
目前,我们有一个模型,将用于使用Tensorflow服务的API。因此,我们需要将当前的API输入数据转换为特性。由于模型的创建和模型的使用是在两个不同的repo中执行的,我不希望在两个不同的repo中进行转换(使两个repo的转换保持相同),因此我阅读了Tensorflow Transform,以便能够使用1个函数来处理训练数据和服务数据。然而,我发现很难理解它在生产中是如何工作的。保存模型时,是否可以包括保存预处理功能?或者我在哪里可以“托管”这个预处理功能保存预处理Tensorflow变换函数,tensorflow,tensorflow-serving,tensorflow-transform,Tensorflow,Tensorflow Serving,Tensorflow Transform,目前,我们有一个模型,将用于使用Tensorflow服务的API。因此,我们需要将当前的API输入数据转换为特性。由于模型的创建和模型的使用是在两个不同的repo中执行的,我不希望在两个不同的repo中进行转换(使两个repo的转换保持相同),因此我阅读了Tensorflow Transform,以便能够使用1个函数来处理训练数据和服务数据。然而,我发现很难理解它在生产中是如何工作的。保存模型时,是否可以包括保存预处理功能?或者我在哪里可以“托管”这个预处理功能 所以说得很清楚,我有一个预处理训
所以说得很清楚,我有一个预处理训练数据的模型。我想对服务数据使用相同的函数。在TensorFlow服务中运行的任何东西都只是一个TensorFlow图,无论是模型本身还是预处理步骤。要将这两个图形折叠在一起,只需将预处理步骤的输出替换为模型的输入,从而连接这两个图形,假设这是兼容的 例如,假设您的模型非常简单,它接受任意长度的输入并计算其L2范数:
input = tf.placeholder(tf.float32, [None])
norm = tf.norm(input, ord=2)
然后我们有一个数据准备功能,我们想应用它,在计算L2范数之前,将原始输入增加一倍,将其添加到自身中:
input = tf.placeholder(tf.float32, [None])
doubled = tf.add(input, input)
您可以在一个TensorFlow服务部署中进行预处理和“预测”(如本玩具示例中所示),方法如下:
input = tf.placeholder(tf.float32, [None])
doubled = tf.add(input, input)
norm = tf.norm(input, ord=2)
这不是特别有用,而且可能比你正在做的事情简单得多。希望它能让人明白这个想法