Collections 处理大量遥测数据

Collections 处理大量遥测数据,collections,telemetry,Collections,Telemetry,我有一个项目,我们读取大量遥测数据。遥测由“通道”组成,通道通常是来自单个传感器的值。例如温度传感器 每个读数包括: A:测量值 B:频道id C:测量的时间 我们以相当高的速率接收遥测数据,高达500赫兹(每秒500个样本),每个通道低至1赫兹。同时信道的数量通常约为150个 每个通道的速率不能期望是精确的,它可能会有所不同 因此,我正在寻找一个集合/算法来处理数据,然后显示值,显示由图形和数字读数组成 通常我们按顺序接收数据,但可能会出现持续时间更长的停机。此外,还可以在以后接收来自停机的缺

我有一个项目,我们读取大量遥测数据。遥测由“通道”组成,通道通常是来自单个传感器的值。例如温度传感器

每个读数包括:
A:测量值
B:频道id
C:测量的时间

我们以相当高的速率接收遥测数据,高达500赫兹(每秒500个样本),每个通道低至1赫兹。同时信道的数量通常约为150个

每个通道的速率不能期望是精确的,它可能会有所不同

因此,我正在寻找一个集合/算法来处理数据,然后显示值,显示由图形和数字读数组成

通常我们按顺序接收数据,但可能会出现持续时间更长的停机。此外,还可以在以后接收来自停机的缺失数据

长话短说,我需要一个能够组织数据的集合:
答:必须能够通过类似时间的值(时间)访问单个读数。
B:必须能够从时间a到B顺序读取值。
C:插入新的值,无论是在结尾还是在中间。 我已经使用skiplist实现了一个(http://en.wikipedia.org/wiki/Skiplist). 它似乎满足了所有要求,但占用了大量内存。显示在测量值的系数5到10之间。在实践中,它比这个更高

我还考虑过将值添加到数据库中,并从那里读取它们,但这似乎很慢——我没有看到SQL server插入那么多值的速度那么快

那么,有没有关于可以做到这一点的集合/算法的想法?

您可能可以使用它


这里提到了这种格式的遥测应用程序。

不错,我会仔细查看。