用python可视化大型数据集
我原来的帖子在下面，但我认为它可能没有它应该是清楚的。因此，澄清： 我希望能够快速访问大型数据集的三维视图。我目前使用的3D字段在以文本形式存储时为千兆字节，但我可能希望将来转到更大的字段。在内存中处理大量千兆字节的数据是不现实的，在显示器上绘制数百万个无法提供额外信息的点也是不合理的。相反，我希望有一个环境，其中大部分数据存储到磁盘，只有与给定绘图相关的值才会读入内存。我希望mayavi可以通过简单地用numpy memmap替换普通数组来轻松实现这一点，但这并不奏效 我可以将字段拆分为较小的卷，并独立处理这些卷，或者对较大的卷进行分辨率较低的单独绘图，但我希望有可用的工具为我处理此问题。我不一定需要一个交互式的3D环境来探索数据，但是如果在我声明绘图参数时，数据的一些切割或平均可以在“幕后”处理，那就太好了 这可能吗用python可视化大型数据集,python,numpy,mayavi,Python,Numpy,Mayavi,我原来的帖子在下面，但我认为它可能没有它应该是清楚的。因此，澄清： 我希望能够快速访问大型数据集的三维视图。我目前使用的3D字段在以文本形式存储时为千兆字节，但我可能希望将来转到更大的字段。在内存中处理大量千兆字节的数据是不现实的，在显示器上绘制数百万个无法提供额外信息的点也是不合理的。相反，我希望有一个环境，其中大部分数据存储到磁盘，只有与给定绘图相关的值才会读入内存。我希望mayavi可以通过简单地用numpy memmap替换普通数组来轻松实现这一点，但这并不奏效 我可以将字段拆分为较小的
我正在用mayavi可视化3D区域。我将磁盘上的字段存储在文本文件中，每行一个值（如果我处理多个字段，则为多个值）。这些文件可能会变得相当大：现在我正在寻找一到两个千兆字节，但这在未来可能会增加。因为我不能将字段完全加载到内存中，所以我想我应该使用numpy内存映射来处理数据。不幸的是，mayavi对整个数据集执行数组操作，因此当我尝试执行
mlab.pipeline.scalar\u field（memmap）Traceback (most recent call last):
File "C:\Anaconda\lib\site-packages\traits\trait_notifiers.py", line 340, in __call__
self.handler( *args )
File "C:\Anaconda\lib\site-packages\mayavi\sources\array_source.py", line 181, in _scalar_data_changed
img_data.point_data.scalars = numpy.ravel(numpy.transpose(data))
File "C:\Anaconda\lib\site-packages\numpy\core\fromnumeric.py", line 1367, in ravel
return asarray(a).ravel(order)
MemoryError
谢谢 最好的方法是尝试而不是绘制100M数据点。你无论如何也看不到它们。试着找出另一种方式来显示您需要的内容。
memmapndarray.tofilememmapndarray.tofilememmapndarray.tofile