Google app engine 在google应用程序引擎中读取大约400 MB的文件

Google app engine 在google应用程序引擎中读取大约400 MB的文件,google-app-engine,google-cloud-storage,Google App Engine,Google Cloud Storage,我需要在google app engine中读取一个超过500MB的文件(以处理某些内容)。我知道资源文件不应该超过32MB,所以我尝试使用Google云存储来读取文件usign GCS API 如果从本地服务器读取文件,处理时间不到一秒钟。但是,使用GCS API,处理时间约为10秒 (我使用了cloudstorage.open()函数,但看起来这是从远程位置读取的,而不是从本地读取的……很遗憾) 那么,还有其他解决办法吗?否则,我将不得不构建另一个API服务器来处理此文件。您需要如何处理该文

我需要在google app engine中读取一个超过500MB的文件(以处理某些内容)。我知道资源文件不应该超过32MB,所以我尝试使用Google云存储来读取文件usign GCS API

如果从本地服务器读取文件,处理时间不到一秒钟。但是,使用GCS API,处理时间约为10秒

(我使用了cloudstorage.open()函数,但看起来这是从远程位置读取的,而不是从本地读取的……很遗憾)


那么,还有其他解决办法吗?否则,我将不得不构建另一个API服务器来处理此文件。

您需要如何处理该文件?如果需要执行长时间运行的任务,则应研究使用任务队列。如果您需要读取超过32 MB的数据,则应将读取的数据分解为多个请求。我使用ip2location BIN文件根据ip地址查找元数据…加载400 MB文件以响应每个请求以确定其位置是一项巨大的额外工作。您可能会发现,将IP表加载到(比如)云SQL中,然后查询该表更便宜、更快。它应该从本地读取文件(io),而不是从远程读取req/res。。。这就是为什么在我的情况下,使用云存储不是一个选项……不确定使用Blobstore是否能解决我的问题。有人吗?你需要怎么处理这个文件?如果需要执行长时间运行的任务,则应研究使用任务队列。如果您需要读取超过32 MB的数据,则应将读取的数据分解为多个请求。我使用ip2location BIN文件根据ip地址查找元数据…加载400 MB文件以响应每个请求以确定其位置是一项巨大的额外工作。您可能会发现,将IP表加载到(比如)云SQL中,然后查询该表更便宜、更快。它应该从本地读取文件(io),而不是从远程读取req/res。。。这就是为什么在我的情况下,使用云存储不是一个选项……不确定使用Blobstore是否能解决我的问题。有人吗?