Sed 如何在Google云存储中替换大文件的字符串?

Sed 如何在Google云存储中替换大文件的字符串?,sed,replace,google-cloud-platform,google-cloud-storage,large-data,Sed,Replace,Google Cloud Platform,Google Cloud Storage,Large Data,我在谷歌云存储中有一个大文件,例如100GB。替换此文件内容的字符串的最佳做法是什么 一个简单的选择是: 使用本地SSD创建GCE 下载到GCE 运行sed-i的/old/new/g文件名 上传回地面军事系统 另一种方法是使用数据流。但是它对于简单地更新一个字段来说是巨大的。。。萨莉为dataprep做了一件事。新的数据融合是可视的,但使用dataproc执行,仍然是过度杀伤力 如果您的文件很容易在大查询中加载,。加载、转换并将结果导出到GCS中的相同格式 我认为您的解决方案是最好的。地面军事系

我在谷歌云存储中有一个大文件,例如100GB。替换此文件内容的字符串的最佳做法是什么

一个简单的选择是:

使用本地SSD创建GCE 下载到GCE 运行sed-i的/old/new/g文件名 上传回地面军事系统
另一种方法是使用数据流。但是它对于简单地更新一个字段来说是巨大的。。。萨莉为dataprep做了一件事。新的数据融合是可视的,但使用dataproc执行,仍然是过度杀伤力

如果您的文件很容易在大查询中加载,。加载、转换并将结果导出到GCS中的相同格式


我认为您的解决方案是最好的。

地面军事系统中的存储桶不是文件系统,因此从技术上讲您无法直接编辑它们,您的解决方案是我能想到的最简单的解决方案

其他选择: 或用于文件系统支持。 允许将本地目录与GCS存储桶同步

否则,您将不得不下载/上载以编辑位于GCS中的文件,就像您使用GCE VM实例的解决方案一样