Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 无法在云中运行气流运行获取错误磁盘I/o错误_Google Cloud Platform_Airflow_Google Kubernetes Engine_Google Cloud Run - Fatal编程技术网

Google cloud platform 无法在云中运行气流运行获取错误磁盘I/o错误

Google cloud platform 无法在云中运行气流运行获取错误磁盘I/o错误,google-cloud-platform,airflow,google-kubernetes-engine,google-cloud-run,Google Cloud Platform,Airflow,Google Kubernetes Engine,Google Cloud Run,我尝试在谷歌云运行中运行气流。 获取错误磁盘I/O错误,我猜缺少磁盘写入权限 有人能帮我解决这个问题吗?如何在云运行中授予写入权限。 我还必须写文件,然后删除它。 云运行时,只有目录/tmp是可写的。因此,将默认写入位置更改为写入此目录 但是,您必须注意两件事: Cloud Run是无状态的,这意味着当创建一个新实例时,容器将从头开始,并有一个空的/tmp目录 /tmp目录是内存中的文件系统。云计算运行时允许的最大内存为2Gb,包括应用程序内存占用。除了你的文件和气流,不确定你会有很多空间。 最

我尝试在谷歌云运行中运行气流。 获取错误磁盘I/O错误,我猜缺少磁盘写入权限

有人能帮我解决这个问题吗?如何在云运行中授予写入权限。 我还必须写文件,然后删除它。

云运行时,只有目录/tmp是可写的。因此,将默认写入位置更改为写入此目录

但是,您必须注意两件事:

Cloud Run是无状态的,这意味着当创建一个新实例时,容器将从头开始,并有一个空的/tmp目录 /tmp目录是内存中的文件系统。云计算运行时允许的最大内存为2Gb,包括应用程序内存占用。除了你的文件和气流,不确定你会有很多空间。 最后一句话。云运行仅在处理请求时处于活动状态,并且请求的最大超时时间为15分钟。当没有请求时,允许的cpu接近0%。我不确定你们想在云计算上实现什么,但我的感觉告诉我你们的设计很奇怪。在您花费太多精力之前,我更愿意警告您。

只有目录/tmp在Cloud Run中是可写的。因此,将默认写入位置更改为写入此目录

但是,您必须注意两件事:

Cloud Run是无状态的,这意味着当创建一个新实例时,容器将从头开始,并有一个空的/tmp目录 /tmp目录是内存中的文件系统。云计算运行时允许的最大内存为2Gb,包括应用程序内存占用。除了你的文件和气流,不确定你会有很多空间。
最后一句话。云运行仅在处理请求时处于活动状态,并且请求的最大超时时间为15分钟。当没有请求时,允许的cpu接近0%。我不确定你们想在云计算上实现什么,但我的感觉告诉我你们的设计很奇怪。在您在这方面花费太多精力之前,我更愿意警告您。

我的印象是,您有一个写I/o错误,因为您正在使用SQLite。那有可能吗

如果您想使用Cointainer运行Airflow,我建议使用Postgres或MySQL作为后端数据库


您还可以将插件和dag文件夹装载到某个外部卷中。

我的印象是,由于您使用的是SQLite,所以您出现了写入i/o错误。那有可能吗

如果您想使用Cointainer运行Airflow,我建议使用Postgres或MySQL作为后端数据库


您还可以将插件和dag文件夹装入一些外部卷。

谢谢@guillaume我刚才在玩cloud run,试图用cloud run设置气流。让我知道我是否可以使用Run连接外部硬盘。在GCP中是否有其他替代方案,比如AWS中的ECS,我可以以经济高效的方式托管气流。@DeepakPoojari-谷歌有气流服务:@DeepakPoojari这一切取决于您对经济高效的期望。John提到的Cloud Composer是一个受管理的气流$每月400个,并不便宜,但你没有什么可管理的:你有一个网站,一个SQL数据库,一个用于worker的VM集群,以及一个用于worker之间状态共享Xcom的Redis内存存储。自己动手,管理和维护,不确定你会发现更便宜@DeepakPoojari,关于磁盘,你不能,云运行和Knative服务合同是:无状态容器,没有持久磁盘和HTTP请求响应,没有批处理,没有cron,没有后台进程,…谢谢@guillaume blaquiere,我试着在google app engine上运行它。它运行,但在几分钟内再次停止执行。应用程序引擎允许后台作业吗?谢谢@guillaume,我刚刚在玩cloud run,试图用cloud run设置气流。让我知道我是否可以使用Run连接外部硬盘。在GCP中是否有其他替代方案,比如AWS中的ECS,我可以以经济高效的方式托管气流。@DeepakPoojari-谷歌有气流服务:@DeepakPoojari这一切取决于您对经济高效的期望。John提到的Cloud Composer是一个受管理的气流$每月400个,并不便宜,但你没有什么可管理的:你有一个网站,一个SQL数据库,一个用于worker的VM集群,以及一个用于worker之间状态共享Xcom的Redis内存存储。自己动手,管理和维护,不确定你会发现更便宜@DeepakPoojari,关于磁盘,你不能,云运行和Knative服务合同是:无状态容器,没有持久磁盘和HTTP请求响应,没有批处理,没有cron,没有后台进程,…谢谢@guillaume blaquiere,我试着在google app engine上运行它。它运行,但在几分钟内再次停止执行。应用程序引擎是否允许后台作业?这并不能回答此问题。一旦你有足够的钱,你将能够;相反这并不能回答这个问题。一旦你有足够的钱,你将能够;相反-