Csv 如何创建从Google Drive到BigQuery的管道

我需要做以下工作：

将.csv文件上载到Google Drive

一旦进入谷歌云，该文件应该由存储在谷歌存储中的Javascript函数打开，以便对某些列应用更改

生成的.csv应用于创建BigQuery表

---

此管道应从桌面命令行启动。

如果您直接将.csv文件上载到Google云存储而不是Google Drive，则可以：

触发a（可在以下情况下自动触发）

在Cloud函数中使用JavaScript代码执行编辑操作

应用以在云函数中加载生成的.csv 您还可以创建两个云功能以分离其角色，并按照以下步骤在GCS中创建备份CSV：

触发云函数1

使用云函数1中的JavaScript代码执行编辑操作

使用Cloud Function 1将.csv保存回Google云存储中的另一个存储桶中

触发Cloud函数2，将新的.csv传输到BigQuery（查找示例代码）

---

如果您需要先在Google Drive中加载，请查看应用程序脚本。您可能会找到一个解决方案。

您研究过Cloud Composer吗？它可以让你安排和撰写工作。这是一个完美的问题，我的需要。不必投反对票。我从不投反对票（看起来你现在有一个好答案）。