Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/tensorflow/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
将模型加载到Tensorflow服务容器中,并使用protobufs与之通信_Tensorflow_Keras_Tensorflow Serving - Fatal编程技术网

将模型加载到Tensorflow服务容器中,并使用protobufs与之通信

将模型加载到Tensorflow服务容器中,并使用protobufs与之通信,tensorflow,keras,tensorflow-serving,Tensorflow,Keras,Tensorflow Serving,我知道如何将模型加载到tensorflow服务容器中,并通过http请求与之通信,但我对如何使用protobufs有点困惑。使用protobufs的步骤是什么?我是否应该将一个模型加载到容器中并使用如下内容: from tensorflow_serving.apis import request = predict_pb2.PredictRequest() request.model_spec.name = 'resnet' request.model_spec.signature_name

我知道如何将模型加载到tensorflow服务容器中,并通过http请求与之通信,但我对如何使用protobufs有点困惑。使用protobufs的步骤是什么?我是否应该将一个模型加载到容器中并使用如下内容:

from tensorflow_serving.apis import 

request = predict_pb2.PredictRequest()
request.model_spec.name = 'resnet'
request.model_spec.signature_name = 'serving_default' 

或者在加载模型之后/之前,我必须执行一些额外的步骤?

以下是在Python中对gRPC进行推断调用的示例代码:


在上面的同一个文件夹中,您将找到调用REST端点的示例。

感谢它的帮助。我想我必须为模型创建一个.proto文件,但它只是在加载模型。奇怪的是grpc和proto并没有比使用RESTAPI快多少。我运行了一个测试,使用这两种方法查询了1000次图像,grpc在70秒内完成了,而rest在71秒内完成了,这是正常的还是差异应该大于此?仅供大家参考,因为我发现grpc在处理海量数据时显示了它的优势。我之前的实验是用一个非常小的图像,但当我使用一个比它大100倍(4MB)的图像时,我观察到grpc的速度大约快30%。