C# 绘制大量数据的图表

我们目前正在使用ZedGraph绘制一些数据的折线图。输入数据来自任意大小的文件，因此，我们事先不知道最大数据点数是多少。但是，通过打开文件并读取标题，我们可以找出文件中有多少数据点

文件格式基本上是[时间（双精度），值（双精度）]。但是，这些条目在时间轴上并不一致。在t=0秒和t=10秒之间可能没有任何点，但在t=10秒和t=11秒之间可能有100K个单位，依此类推

例如，我们的测试数据集文件约为2.6GB，有324M个点。我们希望向用户显示整个图表，并让用户浏览图表。然而，向ZedGraph加载324M点不仅是不可能的（我们在32位机器上），而且也没有用，因为屏幕上没有这么多点

使用ZedGraph的FilteredPointList功能似乎也不成问题，因为这需要首先加载整个数据，然后对该数据执行过滤

因此，除非我们遗漏了任何东西，否则我们唯一的解决方案似乎是——以某种方式——销毁数据，然而，在我们继续处理数据的过程中，我们遇到了很多问题：

1-我们如何抽取未及时统一到达的数据

2-由于整个数据无法加载到内存中，任何算法都需要在磁盘上运行，因此需要仔细设计

3-我们如何处理放大和缩小，特别是当数据在x轴上不均匀时

如果数据是一致的，在图形的初始加载时，我们可以通过文件中预定义的条目数量

Seek（）

，然后每隔N个样本选择一个，并将其输入ZedGraph。但是，由于数据不统一，我们必须更加智能地选择要显示的样本，并且我们不能想出任何不必读取整个文件的智能算法

我很抱歉，因为这个问题没有明确的具体内容，但我希望我能解释我们问题的性质和范围

---

我们使用的是Windows 32位.NET 4.0。

我以前就需要它，但这并不容易做到。由于这个需求，我最终编写了自己的图形组件。结果更好了，因为我加入了我们需要的所有功能

基本上，您需要获得数据范围（最小和最大可能/需要的索引值），将其细分为段（比如100段），然后通过某种算法确定每个段的值（平均值、中值等）。然后根据总结的100个元素进行绘图。这比试图绘制数百万个点要快得多：-）

所以我说的和你说的很相似。您提到不希望绘制每个X元素，因为元素之间可能有很长的时间间隔（X轴上的索引值）。我想说的是，对于数据的每个细分，确定什么是最佳值，并以此作为数据点。我的方法是基于索引值的，所以在你的例子中，0秒和10秒索引值之间没有数据，我仍然会把数据点放在那里，它们之间只有相同的值。 重点是在绘制数据之前对其进行汇总。仔细考虑你的算法，有很多方法可以做到这一点，选择适合你的应用程序的方法。 您可能不会编写自己的图形组件，而只编写数据摘要算法

1-我们如何抽取不可用的数据 准时到达

（注意-我假设加载程序数据文件是文本格式。）

在一个类似的项目中，我必须读取超过5GB的数据文件。我能够解析它的唯一方法是将它读入RDBMS表。我们选择MySQL是因为它使将文本文件导入数据表变得非常简单。（一个有趣的旁白——我在一台32位Windows机器上，无法打开文本文件进行查看，但MySQL读取它没有问题。）另一个好处是MySQL正在尖叫，尖叫得很快

一旦数据进入数据库，我们就可以轻松地对其进行排序，并将大量数据量化为单数解释查询（使用内置的SQL摘要函数，如

SUM

）。MySQL甚至可以将其查询结果读回文本文件，用作加载程序数据

---

长话短说，消耗如此多的数据需要使用一种工具来汇总数据。MySQL符合要求（双关语的意思是……它是免费的）。

我将分两步来实现这一点：

数据预处理

显示数据

第一步 该文件应预处理为二进制固定格式文件。 将索引添加到格式中，它将是int、double、double。 有关速度比较，请参阅本文：

然后，您可以将文件分解为时间间隔，例如 每小时或每天一次，这将给你一个简单的表达方式 访问不同的时间间隔。你也可以保持沉默 一个大文件，有一个索引文件，告诉你在哪里可以找到特定的时间

2011年1月27日8:30:00
13456,1/27/2011 9:30:00

通过使用这些方法之一，您将能够快速找到任何数据块 无论何时，通过索引或文件名，还是通过固定字节的条目数 格式

步骤2 显示数据的方法 1.只需按索引显示每条记录。 2.规范化数据并创建具有打开、高、低和关闭值的聚合数据栏。 A.到时候 B按记录计数 C按价值差异

有关聚合非统一数据集的更多可能方法，您可能需要查看 金融市场中用于汇总交易数据的不同方法。当然 为了提高实时渲染的速度，您可能希望已使用此数据创建文件 聚合。

A