Csv SQLITE-如何在导入时忽略引号？

背景。 我有一些“脏”数据需要导入SQLITE。我每天有500-600万条生产线，所以我需要某种自动化。数据以.txt文件形式出现，以制表符分隔

这是我到目前为止的代码：

<<
DROP TABLE IF EXISTS Import;
CREATE TABLE Import (field1 text,field2 text,field3 text,field4 text,field5 text,field6 text,field7 text,field8 text,field9 text,field10 text,field11 text);
.mode csv
.separator "\t"
.import MyFile.txt import

SELECT COUNT(*) AS count FROM import;
>>

如果我通过SQLITE GUI（SQliteBrowser）进行导入，则在取消选中“-”框时可以正常工作

---

我如何从命令行实现同样的功能？

您可以使用如下

sed

放弃双引号和后面的任何内容：

sed 's/".*//' MyFile.txt > CleanedUp.txt

---

请编辑您的问题，发布您试图导入的数据示例。我不明白为什么您的导入会由于引号而“丢失”数据。我制作了一个dummyfile.txt，它会导致错误。如果有未关闭的引号，则会出现问题。顺便说一句，我不需要包含未关闭“-标记的最后一个字段。如果需要，可以跳过它。这里不喜欢在任何地方注册以获取有关您问题的信息。请输入足够小的示例，以便直接在此处显示。您可能会在和中找到有用的信息。@Yunnosch-谢谢，我没有意识到这一点。Dbox曾经是（并且已经很长一段时间）goto文件共享。无论如何，我将创建一个示例并将其包含在问题中。干杯。谢谢，我会调查塞德的。我不知道那个工具。

sed 's/".*//' MyFile.txt > CleanedUp.txt