Snowpipe vs Airflow可将数据持续加载到Snowflake中

我有一个关于雪花的问题。实际上，在我目前的角色中，我计划将数据从ADL（Azure data lake）迁移到Snowflake。 我现在正在寻找两种选择

创建雪管以加载更新的数据

为相同的对象创建气流作业

---

我仍在努力了解哪种方法是最好的，以及选择哪种方法的利弊。

这取决于您在迁移过程中尝试的内容。如果数据从ADL迁移到Snowflake是普通的（没有转换，没有复杂的验证），那么您可能对SnowPipe很在行（但也请检查您的场景是否适合SnowPipe或批量复制）

---

如果在将数据移动到snowflake之前有许多步骤，并且将来可能需要更改工作流程，那么最好使用气流，这将为您提供更大的灵活性。在我的一次迁移中，我使用了Airflow，而在另一次迁移中，如果使用Snowpipe而不是Airflow，您将能够以更低的延迟加载更大的数据量。在我看来，管理雪管也会更容易

Airflow是一个批处理计划程序，使用它来计划任何运行频率超过5分钟的操作都会让管理变得非常困难。此外，您还必须使用气流自行管理缩放。Snowpipe是一个无服务器选项，它可以根据所看到的卷进行上下缩放，您将在2分钟内看到数据

---

唯一应该限制你使用滑雪管的是成本。虽然，你可能会发现，从长远来看，如果你需要有人来管理你的气流管道，雪管最终会变得更便宜。

更优选的是，通过Advices作业将数据副本从ADL调度到雪花？我知道有一个气流雪花CLI连接器。问题是这些工作需要同步。气流也有助于依赖关系管理和通知系统。你会如何建议我们在雪花中的气流中做所有的事情？难道气流不应该与雪花任务相比较，而不是与雪花管相比较吗？