Csv sql server中插入了错误的数据

Csv sql server中插入了错误的数据,csv,import,etl,ssis-2012,data-cleaning,Csv,Import,Etl,Ssis 2012,Data Cleaning,我想知道在sqlserver中导入CSV文件的正确方法是什么,该文件包含以下数据 GLMAC1,GLMAC2,GLMAC3,GLYR,GLMON,GLSUB,GLTREF,GLDATE,GLDESC,GLAMT,GLSRC,GLBTCH,GLMCMP 1 ,32 ,110 ,13 ,1 ,0 ,171406200A ,120801 ,MH YM PANT W/DRAWS ,-.15 ,NOIA,ITCGR119,1 1

我想知道在sqlserver中导入CSV文件的正确方法是什么,该文件包含以下数据

GLMAC1,GLMAC2,GLMAC3,GLYR,GLMON,GLSUB,GLTREF,GLDATE,GLDESC,GLAMT,GLSRC,GLBTCH,GLMCMP

1    ,32   ,110  ,13  ,1   ,0          ,171406200A  ,120801  ,MH YM PANT W/DRAWS     ,-.15         ,NOIA,ITCGR119,1    
1    ,32   ,110  ,13  ,1   ,13402747   ,446286      ,120801  ,URBAN 1714062     ,15.13        ,904 ,ITCGR11B,1    
1    ,32   ,110  ,13  ,1   ,0          ,172830300A  ,120801  ,OP 5+2 SOCKS       ,-.39         ,NOIA,ITCGR165,1    
1    ,32   ,110  ,13  ,1   ,13402802   ,338728      ,120801  ,INDUSTRIES 1728303     ,39.28        ,904 ,ITCGR16C,1    
1    ,32   ,110  ,13  ,1   ,0          ,171450700A  ,120801  ,FA M.3PK FASHION S     ,-.08         ,NOIA,ITCGR19Z,1    
1    ,32   ,110  ,13  ,1   ,13402845   ,121811      ,120801  ,BO & CO...      1714507     ,7.49         ,904 ,ITCGR1B0,1 
大约有5000万行是这样的,我想在SQL Server中导入此数据,但我注意到,在导入数据后,某些列被移到另一列,这可能是因为第9列中可能有一些逗号(,)值,SQL Server将其作为(,)分隔符

是否有一种方法可以在sql server中插入数据而不会出错,或者在插入之前可能会清理CSV文件。文件大小约为8 GB,我必须使用010Editor在编辑器或任何可用软件中打开文件,这些软件可以帮助我找出第9列中的(,)值,以便我可以手动删除逗号。

此C代码将读取文件,并添加一对“s在第9个字段周围对其进行分隔,并将其写入新的输出文件。例如:

像这样的一行

1    ,32   ,110  ,13  ,1   ,0          ,171406200A  ,120801  ,MH YM,PANT W/DRAWS     ,-.15         ,NOIA,ITCGR119,1    
将作为以下内容写入输出文件:

1    ,32   ,110  ,13  ,1   ,0          ,171406200A  ,120801  ,"MH YM,PANT W/DRAWS     ",-.15         ,NOIA,ITCGR119,1    
如果文本列的分隔符正确,则适合导入SQL Server

代码如下:

using System.Text.RegularExpressions;

void Main() {
    Regex regex = new Regex("(.*?,.*?,.*?,.*?,.*?,.*?,.*?,.*?,)(.*)(,.*?,.*?,.*?,)", RegexOptions.CultureInvariant | RegexOptions.Compiled);
    string regexReplace = "$1\"$2\"$3";

    // The file to read - change this to your location
    var iStream = new FileStream(@"R:\FILE.CSV", FileMode.Open, FileAccess.Read, FileShare.ReadWrite); 
    // The file to write 
    var oStream = new FileStream(@"R:\FIXEDFILE.CSV", FileMode.Create, FileAccess.Write, FileShare.Read); 

    int lineNo=0;
    var sw = new System.IO.StreamWriter(oStream);
    var sr = new System.IO.StreamReader(iStream); 
    while(!sr.EndOfStream) {
        lineNo++;
        string line=sr.ReadLine();
        if (!regex.IsMatch(line)) {
            // Bad lines don't get written to the output file
            Console.WriteLine("Line {0} is bad - does not match the expected format:\n\r  {1}", lineNo, line);
        } else {
            // Write the line with the ""'s around the 9th field
            sw.WriteLine(regex.Replace(line,regexReplace));
        }
        if (lineNo%10000==0) Console.WriteLine("{0} lines processed", lineNo);
    }
    sr.Close();
    sw.Close();
    Console.WriteLine("Finished. Written {0} lines", lineNo);
}