Amazon s3 雪花复制到命令返回

Amazon s3 雪花复制到命令返回,amazon-s3,jdbc,snowflake-cloud-data-platform,Amazon S3,Jdbc,Snowflake Cloud Data Platform,我有一个关于雪花复制到的问题,搜索了一下,但没有得到我的答案。 假设我想将数据从snowflake推送到s3存储桶,并在代码中使用snowflakeCOPY-INTO命令,我如何知道文件是否准备就绪或命令是否完成?这样我就可以从s3位置读取文件。这取决于您实际运行的方式 任何雪花界面都将同步运行,因此查询将一直旋转直到完成 任何异步调用都需要额外的检查—最简单的检查是web界面(它将显示查询的状态,并在完成卸载后显示是否完成)您可以执行以下操作来检查复制到是否成功,或者至少检索有关命令的一些有用

我有一个关于雪花
复制到
的问题,搜索了一下,但没有得到我的答案。

假设我想将数据从snowflake推送到s3存储桶,并在代码中使用snowflake
COPY-INTO
命令,我如何知道文件是否准备就绪或命令是否完成?这样我就可以从s3位置读取文件。

这取决于您实际运行的方式

任何雪花界面都将同步运行,因此查询将一直旋转直到完成


任何异步调用都需要额外的检查—最简单的检查是web界面(它将显示查询的状态,并在完成卸载后显示是否完成)

您可以执行以下操作来检查复制到是否成功,或者至少检索有关命令的一些有用信息:

  • 设置DETAILED_OUTPUT=TRUE并检查结果(这意味着您将获得关于每个已卸载文件的信息作为输出;如果设置为“false”,则只接收关于整个卸载过程的信息)
  • 使用可在此处找到的语法查询您的阶段
  • 使用元数据$filename和元数据$file\u row\u number查询暂存数据的元数据:
请记住,即使复制命令失败,也会导致在后台卸载一些文件


更多信息也可以在

中找到,它将在scala代码中,我希望在文件准备好后立即从s3文件中读取。因此,如果我正在做一些事情,请使用
详细输出=TRUE将其复制到
s3位置
,因此,它将一直加载,直到文件上传到s3,并将提供有关该文件的信息作为查询的输出?是的。它运行copyinto命令,然后您会得到一个输出,其中每个已卸载的文件有一行,以及有关路径、文件名、文件大小和文件行数的信息。关于您的同步问题:查询一直运行到失败或成功,然后您会看到上面提到的输出。希望我的回答对您有所帮助:-)