Google bigquery 如何快速将数据从Google bigquery迁移到Snowflake？

我刚刚在一个涉及一些大数据处理的云数据库项目中工作，需要将数据直接从bigquery快速迁移到snowflake。我在想，是否有任何直接的方法可以将数据从bigquery推送到snowflake，而无需任何中间存储

---

请让我知道bigquery提供了一个实用程序或api或任何其他方式来将数据推送到snowflake。感谢您的帮助。

如果这是一次性需要，您可以分两个步骤执行，将表数据导出到Google的云存储，然后从服务器批量加载

对于导出阶段，请使用BigQuery或。BigQuery支持的所有导出格式（CSV、JSON或AVRO）都由Snowflake支持，因此可能不需要数据转换步骤

---

在目标云存储地址上完成导出后，使用带有外部位置选项（或）的Snowflake将它们复制到Snowflake管理的表中。

如果要将所有数据从bigquery移动到Snowflake，那么我没有什么假设 1.你的所有数据都在地面军事系统中。 2.您可以从gcp连接雪花群集

现在，您的问题缩小到直接将数据从gcs存储桶移动到snowflake。 现在您可以像下面这样运行copy命令

COPY INTO [<namespace>.]<table_name>
     FROM { internalStage | externalStage | externalLocation }
[ FILES = ( '<file_name>' [ , '<file_name>' ] [ , ... ] ) ]
[ PATTERN = '<regex_pattern>' ]
[ FILE_FORMAT = ( { FORMAT_NAME = '[<namespace>.]<file_format_name>' |
                    TYPE = { CSV | JSON | AVRO | ORC | PARQUET | XML } [ formatTypeOptions ] } ) ]
[ copyOptions ]
[ VALIDATION_MODE = RETURN_<n>_ROWS | RETURN_ERRORS | RETURN_ALL_ERRORS ]

复制到[.]
从{internalStage | externalStage | externalLocation}
[文件=（“”[，“”][，…]）]
[模式='']
[文件格式=（{FORMAT\u NAME='[.]'|
TYPE={CSV | JSON | AVRO | ORC | PARQUET | XML}[formatTypeOptions]}]
[复制选项]
[验证模式=返回行|返回错误|返回所有错误]

外部位置在哪里

externalLocation ::=
  'gcs://<bucket>[/<path>]'
  [ STORAGE_INTEGRATION = <integration_name> ]
  [ ENCRYPTION = ( [ TYPE = 'GCS_SSE_KMS' ] [ KMS_KEY_ID = '<string>' ] | [ TYPE = NONE ] ) ]

externalLocation:：=
“gcs://[/]”
[存储与集成=]
[加密=（[TYPE='GCS_SSE_KMS'][KMS_KEY_ID='']|[TYPE=NONE]）]

---

可以找到与此相关的文档，

我强烈建议使用中间存储方法。通过中间步骤，从BigQuery卸载和加载到Snowflake的速度更快。