Google api BigQuery流插入:超出了允许的最大行大小

Google api BigQuery流插入:超出了允许的最大行大小,google-api,google-bigquery,streaming,Google Api,Google Bigquery,Streaming,具体地说,在使用该方法时,我收到了错误消息,称超出了允许的最大行大小。使用流插入时,允许的最大行大小似乎只有1MB(由确认) 如果我真的需要流式插入,如何避免这种情况 如您所述,解决此问题的最佳方法是更改代码以细分大小 另一种方法是联系客户以请求增加限额,例如,您可以要求将限额增加一倍。请记住,它可能会被授予,也可能不会被授予。要请求增加,需要按照该期间的指示升级您的帐户,或者更好地拥有一个支持包。“如何避免这种情况”->将行限制为1MB有多难?@FelipeHoffa它用于ETL:我正在将数据

具体地说,在使用该方法时,我收到了错误消息,称
超出了允许的最大行大小。使用流插入时,允许的最大行大小似乎只有1MB(由确认)


如果我真的需要流式插入,如何避免这种情况

如您所述,解决此问题的最佳方法是更改代码以细分大小


另一种方法是联系客户以请求增加限额,例如,您可以要求将限额增加一倍。请记住,它可能会被授予,也可能不会被授予。要请求增加,需要按照该期间的指示升级您的帐户,或者更好地拥有一个支持包。

“如何避免这种情况”->将行限制为1MB有多难?@FelipeHoffa它用于ETL:我正在将数据存储实体DICT转储到BQ中。一些大的超过1米。我可能可以缩小一点口述,但我宁愿让它们尽可能完整。那么,你可能想把它们放在一张单独的桌子上。您不需要重行,因为您担心在查询过程中需要扫描大量行时,成本会很高。限制是有充分理由的,不要试图“绕过它”。重新考虑你的设计。如果你仍然感兴趣,你可以投票/明星
error message: [{
    "index": 13,
    "errors": [{
        "reason": "invalid",
        "location": "",
        "debugInfo": "",
        "message": "Maximum allowed row size exceeded. Allowed: 1048576 Row size: 1383661"
    }]