Sql server Azure中具有大字段的行的高效存储

目前正在为一个将存储大量记录的应用程序构建一个基本的体系结构POC，每个记录将有一个包含数千个字符的字段

e、 g。 表ID int 字段1 nvarchar（50） 字段2 nvarchar（50） 字段2 nvarchar（最大值）

这些都是在Azure中托管的。我们有一个webjob，它负责获取数据并将其填充到数据存储中，然后另一个webjob定期出现并处理数据

目前，数据仅存储在Azure SQL数据库中。我只是担心，一旦记录数量变成数百万，以这种方式存储/处理/检索数据的效率会非常低

---

关于在Azure中存储此内容的最佳方法，需要提供建议。想要开始尝试这样一个事实，即我们在Azure SQL中保留行，但大字段的数据被推送到另一个存储库（例如data lake、DocumentDB）中，并且有一个对SQL记录的引用，因此SQL调用仍然是精简的，大数据存储在其他地方。这是一个干净的庄园，还是我完全错过了什么？

Azure Table Storage可以帮助解决此问题-它是一个NoSQL KeyValue存储。每个实体的大小可达1MB。您也可以使用单个blob。本设计指南全面介绍了如何设计可扩展的表存储解决方案，包括与其他存储库一起使用表存储的模式。请参阅

---

建立一个完全规范化的数据模型，以消除冗余，让RBMS完成自己的工作。如今，要想成为大数据，数据存储必须是多TB。你也可以考虑将大数据存储在blob存储中。blob存储中的每个blob最高可达200GB。这在很大程度上取决于特定的场景。要存储的数据是什么？它是相当异质的吗？你的工作量是什么样的？如何查询数据？您对读吞吐量、写吞吐量和存储量的估计是多少？一般来说，规范化优化了大量编写的用例。根据规模的不同，分区、物化视图、缓存等都可以发挥作用。在这种情况下，使用更专业的存储产品将非常有益。上面的评论很好。没有太多要添加的内容，但听起来您想探索blob字段，因为您已经在使用Azure SQL。DocumentDB在存储大值方面没有任何优势，但它确实提供了对附件的方便支持，这些附件将提供与Azure SQL上blob类似的功能。高写入率->SQL。大量数据，但中低读取率->SQL。非常高的读取率、可分区数据（例如多租户等）->DocumentDB。高度关系数据->SQL。ACID transactions->SQL尽管DocumentDB的存储过程提供了ACID事务支持，但对此并没有正确的答案，只有意见。我们对应用程序、查询需求以及其他一切一无所知。我们可以整天猜测，建议任何类型的数据库类型，但这真的不重要，因为这只是一个非常广泛的问题上的意见。