Snowflake cloud data platform Snowpipe支持从GCS(谷歌云存储)外部阶段加载数据

Snowflake cloud data platform Snowpipe支持从GCS(谷歌云存储)外部阶段加载数据,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,(一个有趣的问题由一个用户提出,需要在这个论坛上发布) 我们正在尝试从地面军事系统获取数据,并希望使用Snowpipe REST API来实现这一点,但目前我们没有成功。你们能告诉我们GCS是否支持Snowpipe(连续加载和通过REST端点触发)。此外,如果不支持,我们可以知道地面军事系统将在何时提供雪管支持。(以下答案最初由雪花技术客户经理提供) 到目前为止,地面军事系统不支持雪管。它是为未来而设计的。对于时间表,我们需要与Snowflake支持部门联系 虽然不是Snowpipe,但通

(一个有趣的问题由一个用户提出,需要在这个论坛上发布)


我们正在尝试从地面军事系统获取数据,并希望使用Snowpipe REST API来实现这一点,但目前我们没有成功。你们能告诉我们GCS是否支持Snowpipe(连续加载和通过REST端点触发)。此外,如果不支持,我们可以知道地面军事系统将在何时提供雪管支持。

(以下答案最初由雪花技术客户经理提供)


到目前为止,地面军事系统不支持雪管。它是为未来而设计的。对于时间表,我们需要与Snowflake支持部门联系

虽然不是Snowpipe,但通过利用一些本机GCP功能,您可以在GCP存储桶中实现文件的自动加载,我可以通过以下三个步骤来实现这一点:

1、创建GCP子主题-说明:

2、使用本文作为参考,创建一个GCP“云函数”,该函数发出copy-into命令:

进一步说明:

3、在您的存储桶上创建GCP“通知”,这是当文件到达或在您的GCS存储桶上更新时将调用的“触发器”

gsutil notification create -t projects/gcpProjectNameHere/topics/gcpTopicNameHere -e OBJECT_FINALIZE -f json -p parentBucketFolder/childBucketFolder/ gs://gcpBucketNameHere
这几乎没有雪管那么酷,但它应该能用,祝你好运