Snowflake cloud data platform 是";雪花数据云“;云本机事务应用程序数据存储的好选择?

Snowflake cloud data platform 是";雪花数据云“;云本机事务应用程序数据存储的好选择?,snowflake-cloud-data-platform,Snowflake Cloud Data Platform,目前,我在不同的数据存储上生成数据,并复制到Snowflake Staging,然后通过ELT摄取将数据移动到数据仓库DB,以便进行分析。但是,这种方法本身可以被视为创建数据仓库,因为我们已经有3份相同数据的副本: 事务数据存储数据库 复制雪花分期 雪花数据仓库数据库 从技术架构的角度来看,使用雪花作为事务应用程序的直接数据存储是一个好主意吗?(执行许多CRUD操作的应用程序)。这可能有助于避免复制和摄取的成本 我看到这种方法的主要问题是:Snowflake不强制任何引用完整性(主键、外键),因

目前,我在不同的数据存储上生成数据,并复制到Snowflake Staging,然后通过ELT摄取将数据移动到数据仓库DB,以便进行分析。但是,这种方法本身可以被视为创建数据仓库,因为我们已经有3份相同数据的副本:

  • 事务数据存储数据库
  • 复制雪花分期
  • 雪花数据仓库数据库
  • 从技术架构的角度来看,使用雪花作为事务应用程序的直接数据存储是一个好主意吗?(执行许多CRUD操作的应用程序)。这可能有助于避免复制和摄取的成本

    我看到这种方法的主要问题是:Snowflake不强制任何引用完整性(主键、外键),因此在CRUD应用程序中,我必须始终使用MERGE语句,或者以某种方式确保不创建重复记录

    另一个问题是在云中,应用程序和snowflake之间的距离(也称为网络)决定了事务的性能,我希望我的CRUD操作具有良好、一致的性能


    非常感谢您的任何想法/建议。

    目前的Snowflake在单例更新和插入方面表现不佳,而这正是我们在事务数据库中看到的。当使用针对Snowflake提交的单例插入时,我看到性能下降

    相反,它们针对非结构化数据和结构化数据的批量接收进行了优化,并且是为OLAP仓库设计的。您仍然可以使用它,但可能会看到相同的性能下降。此外,主键可以定义,但不强制执行


    在我看来,如果您面临这一挑战,您可以选择在云中使用Postgre SQL DB(开源)作为事务数据库,它可以作为OLAP数据库对Snowflake的一个很好的补充。

    Snowflake到目前为止在单例更新和插入方面表现不佳,这就是我们在事务数据库中看到的。当使用针对Snowflake提交的单例插入时,我看到性能下降

    相反,它们针对非结构化数据和结构化数据的批量接收进行了优化,并且是为OLAP仓库设计的。您仍然可以使用它,但可能会看到相同的性能下降。此外,主键可以定义,但不强制执行


    在我看来,如果您面临这一挑战,您可以选择在云中使用Postgre SQL DB(开源)作为事务数据库,它可以作为OLAP数据库对Snowflake的一个很好的补充。

    不。Snowflake不适合作为事务/OLTP数据库,原因如下所述。另外,由于数据的结构(针对OLAP工作负载进行了优化),对于许多单独的CRUD操作,Snowflake无法很好地执行。

    否。由于您提到的原因,Snowflake不适合作为事务性/OLTP数据库。此外,由于数据的结构(针对OLAP工作负载进行了优化),它在许多单独的CRUD操作中无法很好地执行。

    只想指出,创建单独的数据库有好处,对于希望将事务数据库与分析数据库隔离的数据库,否则可能会严重影响应用程序的性能。其次,事务数据库中的数据可能会发生更改,如果出于任何原因必须重新处理数据,则可能无法这样做。还有很多,但我就到此为止:-)

    只想指出,创建单独的数据库有好处,因为您希望将事务数据库与分析数据库隔离开来,否则可能会显著影响应用程序的性能。其次,事务数据库中的数据可能会发生更改,如果出于任何原因必须重新处理数据,则可能无法这样做。还有很多,但我就到此为止:-)

    任何远程数据库都会因为延迟而遭受许多小的交互,而不考虑任何其他适用性因素:仅20毫秒的往返可能会削弱某些事务需求。仅此一点就可能不适合OTLP/事务性工作负载。@user2864740,是的,延迟仍然是一个主要问题,我正在权衡不必将事务性数据单独复制和摄取到雪花中的优势。由于延迟,任何远程数据库都会遭受许多小的交互,不管是否有其他合适的因素:仅20毫秒的往返行程可能会削弱某些事务需求。这本身可能不适合OTLP/事务性工作负载。@user2864740,是的,延迟仍然是一个主要问题,我正在权衡不必将事务性数据单独复制和摄取到snowflake中的优势