Csv 当文件大小大于1G时,为什么计数行显示为0?
我有一个大约5G的大csv文件。我想把它分割成更小的文件导入sqliteCsv 当文件大小大于1G时,为什么计数行显示为0?,csv,unix,cygwin,Csv,Unix,Cygwin,我有一个大约5G的大csv文件。我想把它分割成更小的文件导入sqlite `split -b 1G input.txt output` 通过运行上面的代码,我得到了6个输出文件:output1-output6。问题是只有output1有300K条记录,而所有其他文件都有0条记录。我使用以下方法计算每个文件中的行数: `wc -l output1` 但是当我检查输出文件的大小时,它们都在1G左右(output6除外)。我的代码或文件有什么问题 我怀疑其他文件可能存在换行符问题(不存在)。因此w
`split -b 1G input.txt output`
通过运行上面的代码,我得到了6个输出文件:output1-output6。问题是只有output1有300K条记录,而所有其他文件都有0条记录。我使用以下方法计算每个文件中的行数:
`wc -l output1`
但是当我检查输出文件的大小时,它们都在1G左右(output6除外)。我的代码或文件有什么问题 我怀疑其他文件可能存在换行符问题(不存在)。因此wc命令无法计算行数(换行符)。我怀疑其他文件可能存在换行符问题(不存在)。因此wc命令无法计算行数(新行字符)。尝试
wc-l输出*
。(你并没有在后面的引号中运行你的wc
,是吗?不要!;-)。祝你好运,不。我当然没有。我在output1上运行了相同的wc代码,得到了300k行,但在output2-output6上运行时,返回了0行。奇怪的是,这些文件的大小约为预期的1G;文件2 0;文件3 0代码>?然后同意必须存在行尾问题。首先,尝试cat-vet file2 | wc-l
如果这样可以更正计数,然后dos2unix file2
。当然,这个场景表明源文件有问题。你有没有看过编辑的杂志?多痛苦啊。祝你好运@避难所谢谢通过尝试将此文件导入SQL server,我获得了更多信息。错误消息表示x1的列数据溢出了磁盘I/O缓冲区。我使用sed-n…
查看记录,x1不是行的末尾…非常混乱。请尝试wc-l输出*
。(你并没有在后面的引号中运行你的wc
,是吗?不要!;-)。祝你好运,不。我当然没有。我在output1上运行了相同的wc代码,得到了300k行,但在output2-output6上运行时,返回了0行。奇怪的是,这些文件的大小约为预期的1G;文件2 0;文件3 0代码>?然后同意必须存在行尾问题。首先,尝试cat-vet file2 | wc-l
如果这样可以更正计数,然后dos2unix file2
。当然,这个场景表明源文件有问题。你有没有看过编辑的杂志?多痛苦啊。祝你好运@避难所谢谢通过尝试将此文件导入SQL server,我获得了更多信息。错误消息表示x1的列数据溢出了磁盘I/O缓冲区。我使用sed-n…查看记录,x1不是行的末尾…非常混乱。