Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 如何通过apache处理Google存储中的数据?_Google Cloud Platform_Airflow_Google Cloud Composer - Fatal编程技术网

Google cloud platform 如何通过apache处理Google存储中的数据?

Google cloud platform 如何通过apache处理Google存储中的数据?,google-cloud-platform,airflow,google-cloud-composer,Google Cloud Platform,Airflow,Google Cloud Composer,我在谷歌云存储中有一个CSV文件。我正在使用GoogleCloudComposer运行ApacheAirflow。我想在我的CSV文件上运行一些bash脚本并将其存储回google云存储?我尝试过搜索各种运营商,但在谷歌存储中找不到任何处理文件的运营商。有什么办法可以做到这一点吗 提前谢谢 以下是一个示例: bash_operator.BashOperator( task_id="process_csv", bash_command="gsutil cp gs://your_bu

我在谷歌云存储中有一个CSV文件。我正在使用GoogleCloudComposer运行ApacheAirflow。我想在我的CSV文件上运行一些bash脚本并将其存储回google云存储?我尝试过搜索各种运营商,但在谷歌存储中找不到任何处理文件的运营商。有什么办法可以做到这一点吗

提前谢谢

以下是一个示例:

bash_operator.BashOperator(
    task_id="process_csv",
    bash_command="gsutil cp gs://your_bucket/your_file.csv your_file.csv && "
                 "process_file your_file.csv > processed_file.csv && "
                 "gsutil cp processed_file.csv gs://your_bucket/processed_file.csv",
    execution_timeout=timedelta(hours=1),
    dag=dag
)
您可以在此存储库中找到更多示例

您还可以使用PythonOperator而不是bash操作符。这里可以找到一些例子