Wolfram mathematica 比Get[“raggedmatrix.mx”更快的海量数据导入速度？
有谁能给我们提供一个替代方案来代替进口一些 从60个.mx文件列表中获取的GB数字数据（以.mx格式），每个文件大约650 MB 这个研究问题太大了，无法在这里发表。它涉及到简单的统计操作 其GB数据量（约34 GB）是可用RAM（16 GB）的两倍。 为了处理数据大小问题，我只需将数据拆分并使用 一个获得/明确的数学策略 它确实可以工作，但是调用Wolfram mathematica 比Get[“raggedmatrix.mx”更快的海量数据导入速度？,wolfram-mathematica,Wolfram Mathematica,有谁能给我们提供一个替代方案来代替进口一些 从60个.mx文件列表中获取的GB数字数据（以.mx格式），每个文件大约650 MB 这个研究问题太大了，无法在这里发表。它涉及到简单的统计操作 其GB数据量（约34 GB）是可用RAM（16 GB）的两倍。 为了处理数据大小问题，我只需将数据拆分并使用 一个获得/明确的数学策略 它确实可以工作，但是调用Get[“bigfile.mx”]需要相当长的时间，所以我想知道在PostgreSQL或MySQL中使用BLOB或任何东西，或者人们用于GB数字数据的
Get[“bigfile.mx”]Get[“bigfile.mx”]（很抱歉，如果这不是一个非常具体的编程问题，但它确实会帮助我继续进行耗时的查找137种可能性中最好的是什么，以解决Mathematica中的一个问题）。我认为最好的两种方法是： 1） 在*.mx文件上使用Get 2） 或者读入数据并以二进制格式保存，然后编写LibraryLink代码并通过该格式读取数据。当然，这有一个缺点，那就是你需要转换你的MX文件。但也许这是一种选择 一般来说，使用MX文件的速度相当快 您确定这不是交换问题吗 编辑1： 然后，您还可以在导入转换器中使用write:以下是一个想法： 你说你有一个参差不齐的矩阵，即不同长度的列表列表。我假设是浮点数 您可以展平矩阵以获得单个长压缩1D数组（必要时使用
Developer`topackedaray这里演示了在Mathematica中（即导入后），从一个大的扁平列表中提取子列表是很快的
data = RandomReal[1, 10000000];
indexes = Union@RandomInteger[{1, 10000000}, 10000];
ranges = #1 ;; (#2 - 1) & @@@ Partition[indexes, 2, 1];
data[[#]] & /@ ranges; // Timing
{0.093, Null}
将压缩阵列作为MX文件导入非常快。我只有2GB的内存，因此无法在非常大的文件上进行测试，但对于我的机器上的压缩阵列，导入时间始终只有几分之一秒。这将解决导入未打包的数据可能会变慢的问题（尽管正如我在关于主要问题的评论中所说的，我无法重现您提到的那种极端缓慢）
如果
BinaryReadListIn[3]:= f = OpenWrite["test.bin", BinaryFormat -> True]
In[4]:= BinaryWrite[f, RandomReal[1, 80000000], "Real64"]; // Timing
Out[4]= {9.547, Null}
In[5]:= Close[f]
In[6]:= f = OpenRead["test.bin", BinaryFormat -> True]
In[7]:= StreamPosition[f]
Out[7]= 0
In[8]:= SetStreamPosition[f, 5000000*8]
Out[8]= 40000000
In[9]:= BinaryReadList[f, "Real64", 5000000] // Length // Timing
Out[9]= {0.609, 5000000}
In[8]:= SetStreamPosition[f, 5000000*8]
Out[8]= 40000000
In[9]:= BinaryReadList[f, "Real64", 5000000] // Length // Timing
Out[9]= {0.609, 5000000}
In[10]:= BinaryReadList[f, "Real64"] // Length // Timing
Out[10]= {7.782, 70000000}
In[11]:= Close[f]
Get编辑如果您愿意花时间在这方面，并编写一些C代码，另一个想法是创建一个库函数（使用），该函数将内存映射文件（），并将其直接复制到
MTensorMTensorImportReadListBinaryReadListrr=RandomReal[1，{100100,50}]；DumpSave[“rr.mx”，rr]；计时[获取[“rr.mx”]；]dynamicPartitiondynP