Sql server 保存大量连续数据的最佳方法是什么

我试过了，但找不到类似的帖子，如果我错过了一篇帖子，并且在这里复制了一篇，我很抱歉

我需要找到保存数据的最佳机制，以满足我的以下要求，并考虑得到您的意见

主要要求

我们从一组电子传感器接收到大量数据。数据量约为每秒50000条记录，每条记录包含一个浮点值和一个日期/时间戳

此外，我们需要将这些数据保存至少5年，并对其进行处理以做出预测。

目前，我们正在使用MS Sql server，但我们非常热衷于探索诸如无Sql之类的新领域

我们可以灵活处理这些问题

• 我们不需要太多的一致性，因为数据的结构非常简单
• 我们可以在保存时从代码管理原子性（如果需要）

我们需要DB端在这些方面可靠

• 快速检索-这样它就不会为繁重的预测算法所需的内容增加太多时间
• 保存时的可靠性-我们的中间层必须以高速抛出大量数据，并希望数据库能够保存所有数据
• 数据需要安全（耐久性）

我一直在读这篇文章，我开始怀疑我们是否可以同时使用MS SQL和NO SQL。我考虑的是继续使用MS SQL来定期使用数据，并使用无SQL解决方案进行长期存储/处理

正如您现在可能已经意识到的，我对没有SQL非常陌生

您认为在保持性能和准确性的同时存储这么多数据的最佳方式是什么

如果您能解释一下这一点，以便我们能够为这个问题提供有效的解决方案，我将不胜感激

我们也在考虑消除彼此接近的几乎相同的记录（例如，45.9344563V、45.9344565V、45.9344562V在3微秒内到达-我们将忽略前2个，取第3个）。你们中有人曾经解决过类似的问题吗？你们使用过什么算法吗

我不想在这里得到一个完整的解决方案。只是想和其他专业人士开始对话。。。请给出你的意见

---

非常感谢您的时间，非常感谢您的意见

NoSQL非常酷，可以很好地处理您的一个需求（快速存储和非关系检索）。然而，NoSQL的问题最终变成了当您开始尝试以关系方式使用数据时要做的事情，而在这种情况下，它的性能并没有RDBMS那么好

在RDBMS中存储大量数据时，有几种策略可用于处理大量数据。想到的最明显的一点是使用分区。您可以在此处阅读有关SQL Server的更多信息：

---

您可能还需要考虑创建一个作业，以便定期地将未被访问的历史数据移到单独的磁盘上。这可能使您能够使用SQL Server 2014中的一项新功能，称为内存OLTP，用于更频繁使用的最新数据（假设数据低于250gb）：

您是否会以关系方式使用此数据？也就是说，您是否希望加入到具有相同（或类似）日期时间或相同/类似电压的另一个表中，以对抗此数据？@DanField如果我们可以加入，这将非常方便，但如果我们满足更紧迫的需求，我们将非常乐意解决此问题。请发布（a）CREATE table命令，对于主题表和所有父表（b）这些传感器到底监控什么（c）监控多少个单元（d）什么类型{模拟|数字}。在技术意义上，而不是口语意义上。@PerformanceDBA遗憾的是，我无法为您提供脚本或设计，因为我们正试图找出我们将要使用的体系结构。将有许多传感器进行监控。这些传感器连接到独立的智能单元，然后将数据传输给我们。我们未来需要支持的装置/传感器数量没有限制。我们需要能够无限扩张。传感器既有模拟的也有数字的，但独立的单元将其转换为数据记录。但是，我必须指出，数据记录很简单（主要是日期/时间和值）