Csv sql server中插入了错误的数据
我想知道在sqlserver中导入CSV文件的正确方法是什么,该文件包含以下数据Csv sql server中插入了错误的数据,csv,import,etl,ssis-2012,data-cleaning,Csv,Import,Etl,Ssis 2012,Data Cleaning,我想知道在sqlserver中导入CSV文件的正确方法是什么,该文件包含以下数据 GLMAC1,GLMAC2,GLMAC3,GLYR,GLMON,GLSUB,GLTREF,GLDATE,GLDESC,GLAMT,GLSRC,GLBTCH,GLMCMP 1 ,32 ,110 ,13 ,1 ,0 ,171406200A ,120801 ,MH YM PANT W/DRAWS ,-.15 ,NOIA,ITCGR119,1 1
GLMAC1,GLMAC2,GLMAC3,GLYR,GLMON,GLSUB,GLTREF,GLDATE,GLDESC,GLAMT,GLSRC,GLBTCH,GLMCMP
1 ,32 ,110 ,13 ,1 ,0 ,171406200A ,120801 ,MH YM PANT W/DRAWS ,-.15 ,NOIA,ITCGR119,1
1 ,32 ,110 ,13 ,1 ,13402747 ,446286 ,120801 ,URBAN 1714062 ,15.13 ,904 ,ITCGR11B,1
1 ,32 ,110 ,13 ,1 ,0 ,172830300A ,120801 ,OP 5+2 SOCKS ,-.39 ,NOIA,ITCGR165,1
1 ,32 ,110 ,13 ,1 ,13402802 ,338728 ,120801 ,INDUSTRIES 1728303 ,39.28 ,904 ,ITCGR16C,1
1 ,32 ,110 ,13 ,1 ,0 ,171450700A ,120801 ,FA M.3PK FASHION S ,-.08 ,NOIA,ITCGR19Z,1
1 ,32 ,110 ,13 ,1 ,13402845 ,121811 ,120801 ,BO & CO... 1714507 ,7.49 ,904 ,ITCGR1B0,1
大约有5000万行是这样的,我想在SQL Server中导入此数据,但我注意到,在导入数据后,某些列被移到另一列,这可能是因为第9列中可能有一些逗号(,)值,SQL Server将其作为(,)分隔符
是否有一种方法可以在sql server中插入数据而不会出错,或者在插入之前可能会清理CSV文件。文件大小约为8 GB,我必须使用010Editor在编辑器或任何可用软件中打开文件,这些软件可以帮助我找出第9列中的(,)值,以便我可以手动删除逗号。此C代码将读取文件,并添加一对“s在第9个字段周围对其进行分隔,并将其写入新的输出文件。例如:
像这样的一行
1 ,32 ,110 ,13 ,1 ,0 ,171406200A ,120801 ,MH YM,PANT W/DRAWS ,-.15 ,NOIA,ITCGR119,1
将作为以下内容写入输出文件:
1 ,32 ,110 ,13 ,1 ,0 ,171406200A ,120801 ,"MH YM,PANT W/DRAWS ",-.15 ,NOIA,ITCGR119,1
如果文本列的分隔符正确,则适合导入SQL Server
代码如下:
using System.Text.RegularExpressions;
void Main() {
Regex regex = new Regex("(.*?,.*?,.*?,.*?,.*?,.*?,.*?,.*?,)(.*)(,.*?,.*?,.*?,)", RegexOptions.CultureInvariant | RegexOptions.Compiled);
string regexReplace = "$1\"$2\"$3";
// The file to read - change this to your location
var iStream = new FileStream(@"R:\FILE.CSV", FileMode.Open, FileAccess.Read, FileShare.ReadWrite);
// The file to write
var oStream = new FileStream(@"R:\FIXEDFILE.CSV", FileMode.Create, FileAccess.Write, FileShare.Read);
int lineNo=0;
var sw = new System.IO.StreamWriter(oStream);
var sr = new System.IO.StreamReader(iStream);
while(!sr.EndOfStream) {
lineNo++;
string line=sr.ReadLine();
if (!regex.IsMatch(line)) {
// Bad lines don't get written to the output file
Console.WriteLine("Line {0} is bad - does not match the expected format:\n\r {1}", lineNo, line);
} else {
// Write the line with the ""'s around the 9th field
sw.WriteLine(regex.Replace(line,regexReplace));
}
if (lineNo%10000==0) Console.WriteLine("{0} lines processed", lineNo);
}
sr.Close();
sw.Close();
Console.WriteLine("Finished. Written {0} lines", lineNo);
}