Snowflake cloud data platform 两次上载同一文件后，Snowpipe不工作

只是在玩雪斗。我让它工作了。我会将一个文件放到S3上，然后Snowpipe将数据加载到雪花表中

然而，当我将同一个文件复制两次到S3存储桶中时，Snowpipe没有将其或任何后续文件复制到不重复的位置

举例说明：

    Uploaded file1.txt into the S3 bucket - success 
    Uploaded file2.txt into the S3 bucket - success 
    Uploaded file3.txt into the S3 bucket - success 
    Re-Uploaded file1.txt into the S3 bucket - no result - table was not updated 
    Uploaded file4.txt into the S3 bucket - no result - table was not updated

我该如何对此进行故障排除？或者解决这个问题

感谢您的几点澄清：

是，Snowpipe不会再次加载文件。如果数据中有错误 如果您需要修改该文件，则需要重命名它（例如。 file1v2.txt）

您注意到的关于未加载下一个文件的行为是 意外&需要进行故障排除。有什么问题吗 下一个文件（因为它显示为挂起文件计数1）？是 你能从雪花之外访问它吗？你能跑吗 复制它来加载它，比如说另一个表

除队列所有权外，Snowpipe在Azure和AWS上的行为类似 （Azure blob存储将不会传递到其他存储中的队列。） 订阅）

AWS上的多个管道共享同一队列，我们使用 用于解复用到不同管道的bucket/prefix

迪内什·库尔卡尼

---

（PM，Snowflake）

我认为重新上传一个文件被认为是一个新的文件到雪管中，所以它应该和后续文件一起被拾取。您尝试过哪些故障排除步骤？重建管道？用“copy-Into”手动运行相同的copy语句？我什么都没试过。但看起来我需要确保文件名是唯一的。我没有看到文件名会出现这样的问题，但我使用Azure，所以可能会略有不同。重新创建阶段、管道、AWS队列和使用结果更新问题等故障排除步骤至少有助于缩小问题的范围。预计“将file1.txt重新上载到S3存储桶-无结果-表未更新”。但是“上传文件4.txt到S3存储桶-无结果-表未更新”应该有结果。您可能想查看管道的状态？我试着重新制作管道，但不起作用。SQS ARN保持不变。我还尝试创建了一个新管道-但是有趣的是，第二个管道的SQS ARN也与第一个管道相同。我在S3存储桶中又放了几个文件，但还是没有运气。管道状态显示它正在运行。我确实监视了管道状态，它正在运行。将文件放入S3存储桶后，挂起的文件计数将上升到1，否则将保持为0。所以管道看起来确实在工作。