Google app engine 当托管tensorflow模型进行预测时,Google app engine和Google ML engine之间的主要区别是什么?

Google app engine 当托管tensorflow模型进行预测时,Google app engine和Google ML engine之间的主要区别是什么?,google-app-engine,google-cloud-platform,google-cloud-functions,google-cloud-ml,Google App Engine,Google Cloud Platform,Google Cloud Functions,Google Cloud Ml,我有一个本地训练的tensorflow模型,需要托管在云服务上,这样我就可以在我的Flatter应用程序中调用它,对输入数据进行预测 在搜索解决方案时,我发现人们通过使用ML引擎(通过firebase函数调用模型预测)和应用程序引擎(使用RESTAPI从托管模型获取预测)实现了上述目标 如果两者达到相同的结果,为什么有两种服务?一个比另一个快吗?还是更便宜?除了有一个面向前端的应用程序外,这两种服务是相同的吗?要为Tensorflow服务的模型提供服务,您需要。。。tensorflow服务,安装

我有一个本地训练的tensorflow模型,需要托管在云服务上,这样我就可以在我的Flatter应用程序中调用它,对输入数据进行预测

在搜索解决方案时,我发现人们通过使用ML引擎(通过firebase函数调用模型预测)和应用程序引擎(使用RESTAPI从托管模型获取预测)实现了上述目标


如果两者达到相同的结果,为什么有两种服务?一个比另一个快吗?还是更便宜?除了有一个面向前端的应用程序外,这两种服务是相同的吗?

要为Tensorflow服务的模型提供服务,您需要。。。tensorflow服务,安装在您的环境中的二进制文件

所以,使用AppEngine标准,您不能安装任何二进制文件,只能定义要使用的依赖项

使用AppEngine Flexible,您可以设置并提供Dockerfile来自定义它。这一次,您无法在App Engine flex上安装TensorFlow服务和服务您的模型

注意:应用程序引擎的标准比例为0,不处理任何请求时不付款。应用程序引擎可灵活扩展到1,因此,无论是否有流量,您至少需要支付1个实例的全职费用


在人工智能平台方面,你有。传统的
MLS1
,其行为和定价非常接近应用程序引擎标准(缩放到0,如果创建实例,则至少支付15分钟的运行时间,…),但安装了tensorflow服务,因此,您可以使用它进行预测

但是,
MLS1
类型支持高达500Mb的型号,它不适合您

N1
类型是AI平台在线预测服务的新平台(在这种类型的机器上不可能批量)。更多CPU、GPU、内存,型号高达2Gb,。。。但是,就像AppEngine Flexible一样,该平台可以扩展到1,因此即使你不提供流量服务,你也要付费

注:AI平台服务机器针对预测和tensorflow进行了优化。App Engine针对通用性,特别是web服务进行了优化


我表演了一个


从那时起,我对这些解决方案并不满意。我找到了第三种为模型服务的方法,这次是云运行。I(容器启动时间更长(冷启动),但请求处理效率更高)和(处理时间更长,但可用于不同类型的模型)

在最后一篇文章中,我发布了一个开源解决方案。如果需要,我可以根据您的要求进行更新



最后一点注意:也许可以在应用程序引擎标准上使用TensorflowJS模型和NodeJS运行时环境提供tensorflow模型。我从未测试过(我既不是数据科学家,也不是NodeJS开发人员)

你能在appengine上共享Tensorflow的链接吗?您是否也可以分享您的型号要求(型号大小、所需CPU数量、GPU、批处理或在线服务等)?您好,不知道您指的是什么链接,是app engine型号托管的文档吗?至于我的型号,它的大小是500-700MB,4核CPU就足够了,不需要GPU,我更喜欢在线服务,因为我会从我的应用程序发送预测请求。谢谢