Google cloud platform 如何删除垃圾值并将多个.csv文件（不同的模式）加载到BigQuery中？

我有许多.csv文件存储在gcs中，我想使用以下命令将数据从.csv加载到BigQuery：

bq加载“datastate.table”gs://path.csv json_模式

我试过，但给出了错误，同样的错误是给许多文件。

在导入到表中之前，如何从.csv文件中删除不需要的值

---

建议我以最简单的方式加载文件

答案取决于您希望如何处理这些垃圾行。如果你看一下，你有几个选择

允许的错误数。默认情况下，它设置为0，这就是加载作业在第一行失败的原因。如果您知道rom的总数，请将此值设置为允许的错误数，并且在加载作业中将忽略所有错误 忽略未知值。如果由于某些行包含架构中定义的更多列而导致错误，则此选项会使该行保持错误，并且仅保留已知列，其他行将被忽略 允许锯齿行。如果您的错误是由于行太短而导致的，并且它出现在您的邮件中，并且您仍然希望保留第一列，因为最后一列是可选的和/或不相关的，那么您可以选中此选项 对于更高级和特定的过滤器，您必须执行预处理或后处理。如果是这样的话，请让我知道将这一部分添加到我的答案中