Google bigquery 为什么拼花文件中的数据在加载到BigQuery表后与源数据不匹配

在我将拼花地板文件从Google存储加载到BigQuery表之后。预览时点击Bigquery中的数据与原始源中的数据不同。但是模式是正确的

---

我认为，如果模式是正确的，则加载的数据必须是正确的。我最好的猜测是拼花地板文件中的数据被屏蔽了，您需要一个函数来解除屏蔽

要验证拼花是否包含加载到BQ的相同数据，可以通过运行拼花工具在原始拼花文件中列出几行：

$ hadoop jar parquet-tools-1.9.0.jar head file:///ea4b68c5d20bbc90-bfec9bfd00000000_333529865_data.0.parq

---

我认为，如果模式是正确的，则加载的数据必须是正确的。我最好的猜测是拼花地板文件中的数据被屏蔽了，您需要一个函数来解除屏蔽

要验证拼花是否包含加载到BQ的相同数据，可以通过运行拼花工具在原始拼花文件中列出几行：

$ hadoop jar parquet-tools-1.9.0.jar head file:///ea4b68c5d20bbc90-bfec9bfd00000000_333529865_data.0.parq

---

Nurma你能分享一下预期的结果吗？你能从表中进行选择吗？不仅使用预览选项卡来检查值Shi Tamir，我从表中进行了选择，然后结果显示相同的值select*from master-tangent-240211.Demo_2019.Demo_拼花限制1000。请帮帮我。谢谢，请检查bigquery文档，确认您的数据没有被压缩，或者您确实遵守了所有描述的指导原则。如果这种情况仍然存在，请提供一个清晰的文本示例，以及如何将其转换为拼花地板，以便于进一步帮助您。另外，请将预期值与收到的项目进行比较，这样就可以清楚地看到您面临的差距。Hi Tamir，我将拼花文件加载到BigQuery中，命令如下：bq-location=asia-southest1 load-source\u format=parquet Demo\u 2019.Demo\u 01 gs://cdh bucket/warehouse/parquet\u employee/ea4b68c5d20bbc90-bfec9bfd0000000\u 333529865\u data.0.parq。加载成功后，我发现数据与原始数据不正确。结果显示第1行id MDAx name bWVI。因此，我通过这个命令bq-location=asia-southest1 load-source\u format=parquet Demo\u 2019.Demo\u 01 gs://cdh bucket/warehouse/sample\u parquet/userdata1.parquet加载另一个拼花文件。结果数据是正确的。嗨，Nurma，没有原始文件，我做不了什么。我建议您直接与BigQuery支持部门联系，以帮助您解决这一问题。您能否分享预期结果，并从表中进行选择，而不仅仅是使用预览选项卡检查值Shi Tamir，我从表中进行了选择，结果显示相同的值select*from master-tangent-240211.Demo_2019.Demo_拼花地板限制1000。请帮帮我。谢谢，请检查bigquery文档，确认您的数据没有被压缩，或者您确实遵守了所有描述的指导原则。如果这种情况仍然存在，请提供一个清晰的文本示例，以及如何将其转换为拼花地板，以便于进一步帮助您。另外，请将预期值与收到的项目进行比较，这样就可以清楚地看到您面临的差距。Hi Tamir，我将拼花文件加载到BigQuery中，命令如下：bq-location=asia-southest1 load-source\u format=parquet Demo\u 2019.Demo\u 01 gs://cdh bucket/warehouse/parquet\u employee/ea4b68c5d20bbc90-bfec9bfd0000000\u 333529865\u data.0.parq。加载成功后，我发现数据与原始数据不正确。结果显示第1行id MDAx name bWVI。因此，我通过这个命令bq-location=asia-southest1 load-source\u format=parquet Demo\u 2019.Demo\u 01 gs://cdh bucket/warehouse/sample\u parquet/userdata1.parquet加载另一个拼花文件。结果数据是正确的。嗨，Nurma，没有原始文件，我做不了什么。我建议您直接向BigQuery支持部门寻求帮助