Google cloud platform 位置/家庭/气流

Google cloud platform 位置/家庭/气流,google-cloud-platform,airflow,google-cloud-composer,Google Cloud Platform,Airflow,Google Cloud Composer,我在创建cloud composer环境时指定了3个节点。我试图通过SSH连接到工作节点,但在/home中找不到该目录。那么它到底位于哪里呢?Cloud Composer运行Airflow,因此您无法直接在任何主机GCE实例上找到数据。相反,气流过程在Kubernetes管理的容器中运行,该容器被保存到/home/afflow目录中。要查找目录,您需要在正在运行的容器中查找 由于每个环境都将其气流数据存储在GCS存储桶中,因此您也可以使用云控制台或gsutil检查文件。如果您确实想使用shell

我在创建cloud composer环境时指定了3个节点。我试图通过SSH连接到工作节点,但在/home中找不到该目录。那么它到底位于哪里呢?

Cloud Composer运行Airflow,因此您无法直接在任何主机GCE实例上找到数据。相反,气流过程在Kubernetes管理的容器中运行,该容器被保存到
/home/afflow
目录中。要查找目录,您需要在正在运行的容器中查找

由于每个环境都将其气流数据存储在GCS存储桶中,因此您也可以使用云控制台或
gsutil
检查文件。如果您确实想使用shell查看
/home/aiffair
,可以使用
kubectl exec
,它允许您在Kubernetes集群中的任何pod/容器上运行命令/打开shell。例如:

#获取Composer环境的GKE集群的名称
$gcloud composer环境描述$ENV_名称
#获取该群集的Kubernetes凭据
$gcloud容器群集获取凭据$GKE\u群集\u名称
一旦您拥有Kubernetes凭据,就可以在其中列出正在运行的POD和SSH:

#列出跑步吊舱
$kubectl获得豆荚
#快进一个豆荚
$kubectl exec-it$POD_NAME bash
气流-工人-a93j$ls/家庭/气流

Try
echo$avirflow\u HOME
。我刚刚尝试了这个,当我列出pod时,我看不到任何工作人员?检查Composer名称空间:
kubectl get ns | grep Composer
。最后做了
kubectl get pods——所有名称空间
,效果很好。没有意识到默认情况下它不会处理所有名称空间。