Google cloud platform 如何在加载到BigQuery之前清理.CSV文件？

我有许多.CSV文件存储在gcs中，我希望使用

bq load 'dataset.table' gs://path.csv schema

我试过了，但总是出错

---

如何在导入.CSV之前删除不需要的值？

我知道您可能有许多CSV文件，但它们都与目标表架构一一匹配。解决此问题的一种方法是调整CSV字段的数量，您可以使用无服务器
考虑到已经在谷歌云存储中拥有CSV文件的另一种方法是用.< /P>无服务器数据吞吐。 使用BqTail，您可以为CSV领域指定一个专用的瞬态模式，以便最终将其接收到目标表中。下面是e2e测试规则将CSV摄取到临时表，然后再摄取到最终目标表的示例

---

有时数据质量超出了我们的控制范围，在这种情况下，我一直在使用BqTail自动检测批处理加载作业中损坏的文件，将其发送到存储镜像恢复，以进行调整并将其发送回另一个加载作业。

Hi@aarav，欢迎使用SO。您能告诉我们您收到了什么错误消息，以及您是否尝试搜索有关此问题的答案。关于这个主题，在SO amd非常好的Google documentiom上没有什么问题可以指导你。欢迎来到SO！你问题的标题与实际问题无关。此外，您的命令中还有一个输入错误。Google云存储中的路径以“gs://”开头，而不是以“gd://”开头。此外，在指定目标表时不应使用引号。请检查并重试。