Google cloud storage 如何在谷歌云存储中快速分析PB级数据?

Google cloud storage 如何在谷歌云存储中快速分析PB级数据?,google-cloud-storage,Google Cloud Storage,我们正在考虑将数PB的随机文件存储在谷歌云存储(GCS)中进行备份。这些文件可能是文本文件、word文件、二进制文件等 存储这些文件后,对其执行搜索的最有效方法是什么?地面军事系统是否提供数据分析工具,我们可以用来构建自定义文件搜索功能 提前感谢你的帮助 A 对于生成报告所需的分析类型,如按类别聚合条目等,分析数据的最佳选择是BigQuery。它有点像SQL,只是它大量并行运行 默认情况下,Google Cloud Storage不提供任何搜索功能,但它与诸如Cloud Dataproc或Cl

我们正在考虑将数PB的随机文件存储在谷歌云存储(GCS)中进行备份。这些文件可能是文本文件、word文件、二进制文件等

存储这些文件后,对其执行搜索的最有效方法是什么?地面军事系统是否提供数据分析工具,我们可以用来构建自定义文件搜索功能

提前感谢你的帮助

  • A

对于生成报告所需的分析类型,如按类别聚合条目等,分析数据的最佳选择是BigQuery。它有点像SQL,只是它大量并行运行


默认情况下,Google Cloud Storage不提供任何搜索功能,但它与诸如Cloud Dataproc或Cloud Dataflow之类的工作流系统很好地结合在一起,您当然可以使用这些系统来维护自定义搜索索引。

对于生成报告所需的分析,例如按类别聚合条目之类的分析,分析数据的最佳选择是BigQuery。它有点像SQL,只是它大量并行运行

默认情况下,Google Cloud Storage不提供任何搜索功能,但它与诸如Cloud Dataproc或Cloud Dataflow之类的工作流系统很好地匹配,您当然可以使用它们来维护自定义搜索索引