Google cloud platform 如何从一个地面军事系统位置读取多个csv文件,将其附加(即堆叠)并使用数据融合将其写回另一个地面军事系统位置?

Google cloud platform 如何从一个地面军事系统位置读取多个csv文件,将其附加(即堆叠)并使用数据融合将其写回另一个地面军事系统位置?,google-cloud-platform,google-cloud-data-fusion,Google Cloud Platform,Google Cloud Data Fusion,为什么要进行数据融合,因为我还需要再运行几个步骤(运行Data Proc clusters),插入DBs并按计划进行。此外,数据可能会爆炸(10s TB)或收缩(10s GB)。堆叠多个TB文件不是一个好主意。仓库 我不知道你需要叠文件 也许Bigquery可以作为一种解决方案,用于轻松加载CSV文件,然后查询文件子集以进行进一步处理。但是查询10秒的结核病是昂贵的!(每TB 5美元) 要获得更多帮助,请添加有关您想要实现的目标的更多详细信息

为什么要进行数据融合,因为我还需要再运行几个步骤(运行Data Proc clusters),插入DBs并按计划进行。此外,数据可能会爆炸(10s TB)或收缩(10s GB)。

堆叠多个TB文件不是一个好主意。仓库

我不知道你需要叠文件

也许Bigquery可以作为一种解决方案,用于轻松加载CSV文件,然后查询文件子集以进行进一步处理。但是查询10秒的结核病是昂贵的!(每TB 5美元)

要获得更多帮助,请添加有关您想要实现的目标的更多详细信息