Deep learning 如何在没有GPU的情况下为深度学习模式服务_Deep Learning_Model_Tensorflow Serving

Deep learning 如何在没有GPU的情况下为深度学习模式服务

deep-learning model

Deep learning 如何在没有GPU的情况下为深度学习模式服务,deep-learning,model,tensorflow-serving,Deep Learning,Model,Tensorflow Serving,由于节省了成本，我正在使用常规CPU运行一个深度学习模型。完成一个请求需要10秒钟，并且是用python编写的我想通过使用java、C++或RISE来改进PrF。是否存在现有的RISD框架来选择一个深层的学习模型。 < P> Tensorflow的性能关键部分是用C++编写的。使用其他语言不会造成显著的性能差异。您可以量化网络或进行网络修剪以提高性能是否存在任何现有的rust框架来选择深度学习模型虽然我不熟悉生锈的框架。如果您在英特尔cpu上运行您的模型，我建议您使用ONNX导出模型，并使

由于节省了成本，我正在使用常规CPU运行一个深度学习模型。完成一个请求需要10秒钟，并且是用python编写的

我想通过使用java、C++或RISE来改进PrF。是否存在现有的RISD框架来选择一个深层的学习模型。

< P> Tensorflow的性能关键部分是用C++编写的。使用其他语言不会造成显著的性能差异。您可以量化网络或进行网络修剪以提高性能

是否存在任何现有的rust框架来选择深度学习模型

虽然我不熟悉生锈的框架。如果您在英特尔cpu上运行您的模型，我建议您使用ONNX导出模型，并使用带有英特尔MKLDNN后端的mxnet运行模型。这将为您提供最佳性能，因为它使用“英特尔MKLDNN”和“英特尔MKL库”。您可以使用C++/Python

使用MKLDNN安装mxnet