Linux 删除大型csv文件的列

Linux 删除大型csv文件的列,linux,csv,Linux,Csv,我有一个大约2GB的大CSV文件,包含7列。我想删除它的第四列,这是一个文本(代码段)。我使用了“剪切”命令,如: cut-d,f4——补码文件 但它不是删除列,因为它是在一行中遇到逗号时生成列,并从该行中删除第4列。下面的答案,我用的是: csvquote文件| cut-d“,”-f4——补码| uniq-c | csvquote-u 它对小文件有效,但对大文件抛出错误: errno:值对于定义的数据类型太大 我想知道一些删除大型数据文件列的解决方案。谢谢 编辑:头文件输出: 有趣、用户id、

我有一个大约2GB的大CSV文件,包含7列。我想删除它的第四列,这是一个文本(代码段)。我使用了“剪切”命令,如:

cut-d,f4——补码文件

但它不是删除列,因为它是在一行中遇到逗号时生成列,并从该行中删除第4列。下面的答案,我用的是:

csvquote文件| cut-d“,”-f4——补码| uniq-c | csvquote-u

它对小文件有效,但对大文件抛出错误:

errno:值对于定义的数据类型太大

我想知道一些删除大型数据文件列的解决方案。谢谢

编辑:头文件输出:

有趣、用户id、评论id、文本、业务id、星星、日期、有用、类型、酷 0,WV5XKbgVHJXEgw7f-b6PVA,hhmpSM4LcHQv6noXlYYCgw,“我们特意找到了这个地方,因为我读到他们有令人惊异的普汀。值得一游。这真是太棒了。这个地方很时髦$10英镑买两大块普汀。炸薯条很脆,可以很好地放在奶油肉汁上。加上一大块吱吱作响的白奶酪凝乳,这是一顿美妙的晚餐


你试过让cut用其他字段代替吗

像这样:

trucks | cut -f 1,3- -d , | uniq -c | csvquote/csvquote -u
我在我的机器上测试了它,它似乎能工作。但是我没有看到你的数据样本,你也没有注意到哪个程序正在抛出

errno:值对于定义的数据类型太大


最好显示输入文件的片段,只需复制
头文件的输出
命令并粘贴即可here@RomanPerekhrest完成。谢谢你的澄清。:)谢谢你的回复。我对其他字段尝试了相同的命令,但不起作用。我想问题在于文件的大小。csvquote正在抛出该错误。