在MATLAB中导入CSV文件的最快方法

在MATLAB中导入CSV文件的最快方法,matlab,file-io,csv,data-import,Matlab,File Io,Csv,Data Import,我已经编写了一个脚本,将其输出保存到CSV文件以供以后参考,但是第二个用于导入数据的脚本需要花费大量的时间才能将其读回 数据格式如下: Item1,val1,val2,val3 Item2,val4,val5,val6,val7 Item3,val8,val9 其中,标题位于最左边的列上,数据值占据行的其余部分。一个主要的困难是,每个测试项目的数据值数组的长度可能不同。我会将其保存为一个结构,但我需要能够在MATLAB环境之外对其进行编辑,因为有时我必须在没有安装MATLAB的计算机上删除坏数

我已经编写了一个脚本,将其输出保存到CSV文件以供以后参考,但是第二个用于导入数据的脚本需要花费大量的时间才能将其读回

数据格式如下:

Item1,val1,val2,val3
Item2,val4,val5,val6,val7
Item3,val8,val9
其中,标题位于最左边的列上,数据值占据行的其余部分。一个主要的困难是,每个测试项目的数据值数组的长度可能不同。我会将其保存为一个结构,但我需要能够在MATLAB环境之外对其进行编辑,因为有时我必须在没有安装MATLAB的计算机上删除坏数据行。所以,我的问题的第一部分是:我应该以不同的格式保存数据吗

问题的第二部分: 我已经试过了,但是我不确定哪一个是最好的,或者是否有更好的解决方案。现在我正在使用我自己的脚本,使用循环和,这对于大文件来说非常慢。有什么建议吗

function [data,headers]=csvreader(filename); %V1_1
 fid=fopen(filename,'r');
 data={};
 headers={};
 count=1;
 while 1
      textline=fgetl(fid);
      if ~ischar(textline),   break,   end
      nextchar=textline(1);
      idx=1;
      while nextchar~=','
        headers{count}(idx)=textline(1);
        idx=idx+1;
        textline(1)=[];
        nextchar=textline(1);
      end
      textline(1)=[];
      data{count}=str2num(textline);
      count=count+1;
 end
 fclose(fid);

(我知道这可能是写得很糟糕的代码-我是工程师,不是程序员,请不要对我大喊大叫-尽管如此,任何改进建议都是受欢迎的。)

如果您在第一个脚本创建文件时可以用值填充文件,可能会使数据更易于读取:

Item1,1,2,3,NaN
Item2,4,5,6,7
Item3,8,9,NaN,NaN
或者您甚至可以只打印空字段:

Item1,1,2,3,
Item2,4,5,6,7
Item3,8,9,,
当然,为了正确填充,您需要知道所有项目的最大值是多少。使用上述任何一种格式,您都可以使用其中一种标准文件读取功能,例如:

>> fid = fopen('uneven_data.txt','rt');
>> C = textscan(fid,'%s %f %f %f %f','Delimiter',',','CollectOutput',1);
>> fclose(fid);
>> C{1}

ans = 

    'Item1'
    'Item2'
    'Item3'

>> C{2}

ans =

     1     2     3   NaN  %# TEXTSCAN sets empty fields to NaN anyway
     4     5     6     7
     8     9   NaN   NaN

而不是一次解析一个字符的字符串文本行。例如,您可以使用strtok来分解字符串

stringParts = {};
tline = fgetl(fid);
if ~ischar(tline), break, end
i=1;
while 1
    [stringParts{i},r]=strtok(tline,',');
    tline=r;
    i=i+1;
    if isempty(r), break; end
end

% store the header
headers{count} = stringParts{1};

% convert the data into numbers
for j=2:length(stringParts)
    data{count}(j-1) = str2double(stringParts{j});
end
count=count+1;
Q1)如果您知道最大列数,则可以使用NaN填充空条目 另外,如果所有值都是数字,您真的需要“Item#”列吗?如果是,则只能使用“#”,因此所有数据都是数字

Q2)从没有mex文件的文件中读取num.数据的最快方法是csvread。 我尽量避免在csv文件中使用字符串,但如果必须,我会使用csv2cell函数:


在Matlab中读取csv数据时,我也遇到了同样的问题,我很惊讶这方面的支持是多么少,但后来我找到了导入数据工具。我在r2015b

在“主页”选项卡的顶部栏上,单击“导入数据”,然后选择要读取的文件。将出现一个应用程序窗口,如下所示:

在“导入选择”下,您可以选择“生成函数”,这为您提供了大量自定义选项,包括如何填充空单元格,以及您希望输出数据结构是什么。另外,它是由MathWorks编写的,所以它可能使用了最快的方法来读取csv文件。在我的文件中几乎是瞬间出现的。

项目#列实际上是文本标签,所以是的,我确实需要它。我可能应该澄清一下。