Google cloud platform 当我有多个数据文件(.txt)要转换时,如何使用数据融合来执行ETL操作?在数据融合UI中使用函数

Google cloud platform 当我有多个数据文件(.txt)要转换时,如何使用数据融合来执行ETL操作?在数据融合UI中使用函数,google-cloud-platform,google-cloud-data-fusion,Google Cloud Platform,Google Cloud Data Fusion,任务概述如下。 Google云存储(GCS)中的多个数据文件存储在分区(/directory01/directory02/...text)中 我将使用datafusion执行ETL工作,并将其加载到bigQuery表中 仅当选择一个数据文件时才执行ETL操作 但是我想一次处理Google云存储中的所有数据文件,但是有太多的数据文件需要手动处理 如果有好办法,请告诉我 谢谢。正如@narendra评论的那样,您可以在GCS插件属性/设置中将目录指定为路径,并确保路径以“/”结尾 打开插件属性/设置

任务概述如下。 Google云存储(GCS)中的多个数据文件存储在分区(/directory01/directory02/...text)中

我将使用datafusion执行ETL工作,并将其加载到bigQuery表中

仅当选择一个数据文件时才执行ETL操作

但是我想一次处理Google云存储中的所有数据文件,但是有太多的数据文件需要手动处理

如果有好办法,请告诉我


谢谢。

正如@narendra评论的那样,您可以在GCS插件属性/设置中将目录指定为路径,并确保路径以“/”结尾


打开插件属性/设置时,您可以在“属性”选项卡右侧的“文档”选项卡中找到文档。

正如@narendra所评论的,您可以将目录指定为GCS插件属性/设置中的路径,并确保路径以“/”结尾

打开插件属性/设置时,您可以在“属性”选项卡右侧的“文档”选项卡中找到文档。

您是否尝试过源名称“GCS”将路径设置为gs:///path/to/directory/以读取目录文件夹下的所有文件?您是否尝试过源名称“GCS”将路径设置为gs:///path/to/directory/以读取目录文件夹下的所有文件?