Google cloud platform DataProc对受自定义托管HSM密钥保护的云存储中的数据的大量解密请求

我们在云存储中使用自定义托管HSM密钥加密事务数据，当用户提交作业时，dataproc集群会旋转并处理存储在云存储中的数据的一些分析。 数据是一种事务数据，每天进行分区，并以拼花文件（每天一个文件）格式存储。每件事都很好，但在幕后有大量调用解密操作的调用。 我们已经将配额提高到每分钟25万次，但似乎我们只是达到了这一阈值。目前，我们被迫减少可处理的并行作业的数量，这严重影响了我们的SLA，并且由于我们达到了KMS请求的配额，其他处理产品（如数据也被加密的BIG Query）无法执行其操作，导致请求失败

我收到异常消息-->“Project'XXX'超出了metric cloudkms.googleapis.com/hsm\u对称请求的限制。”

当查看日志时，我可以看到大量的请求

request: {
@type: "type.googleapis.com/google.cloud.kms.v1.DecryptRequest"
name: <KeyPath>
}

请求：{
@类型：“type.googleapis.com/google.cloud.kms.v1.DecryptRequest”
姓名：
}

来自云存储帐户“服务-XXXX@gs-project accounts.iam.gserviceaccount.com“

我可以理解存储帐户要求对数据进行解密，但在我看来，单个作业每分钟25万次请求（我们当前的限制）可能最多运行300到400个文件，这太高了

---

你有没有遇到过这样的挑战？如何处理它，因为我们计划使用大量并行作业，这意味着需要相当多的“hsm_对称_请求”请求配额。如果有人能解释这种行为，那也太好了。

请记住，每个4K数据块都是用不同的密钥（DEK）加密的。DEK是用KEK加密的，KEK是用你的CMEK加密的。@JohnHanley谢谢你的解释。我刚从你那里弄明白。同样基于我的需求的一些基本假设，计算结果是4.78亿个请求，这绝对是一个疯狂的数字。现在我在问自己，CMEK和大数据是如何合作的。根据谷歌文档中的解释，需要大量解密配额。除非您需要CMEK提供的高安全性，否则请使用谷歌托管密钥和KMS。在加密世界中，4.78亿个请求算不了什么。一个更大的问题是CMEK增加的延迟。@JohnHanley感谢您的回复。将与我们的安全官员讨论是否需要CMEK。如果我们处理20个并行请求，则每分钟的请求量为478M。这不仅增加了大量额外成本，而且延迟也相当可观。目前，在谷歌的大力支持下，我们可以将配额增加到300K，并将并行作业减少到1个。但感谢您确认，考虑到上下文，这些数字并不多。@JohnHanley我有一个扩展问题。我们在BigQuery中有相同的数据，数据集由另一个HSM密钥保护。我们对这些数据进行了大量的计算。幸运的是，我们没有看到同样的行为。通话次数明显减少。从HSM上的解释可以理解对存储的大量调用，但不清楚为什么它不会发生在BigQuery中。有什么见解吗？请记住，每个4K数据块都是用不同的密钥（DEK）加密的。DEK是用KEK加密的，KEK是用你的CMEK加密的。@JohnHanley谢谢你的解释。我刚从你那里弄明白。同样基于我的需求的一些基本假设，计算结果是4.78亿个请求，这绝对是一个疯狂的数字。现在我在问自己，CMEK和大数据是如何合作的。根据谷歌文档中的解释，需要大量解密配额。除非您需要CMEK提供的高安全性，否则请使用谷歌托管密钥和KMS。在加密世界中，4.78亿个请求算不了什么。一个更大的问题是CMEK增加的延迟。@JohnHanley感谢您的回复。将与我们的安全官员讨论是否需要CMEK。如果我们处理20个并行请求，则每分钟的请求量为478M。这不仅增加了大量额外成本，而且延迟也相当可观。目前，在谷歌的大力支持下，我们可以将配额增加到300K，并将并行作业减少到1个。但感谢您确认，考虑到上下文，这些数字并不多。@JohnHanley我有一个扩展问题。我们在BigQuery中有相同的数据，数据集由另一个HSM密钥保护。我们对这些数据进行了大量的计算。幸运的是，我们没有看到同样的行为。通话次数明显减少。从HSM上的解释可以理解对存储的大量调用，但不清楚为什么它不会发生在BigQuery中。有什么见解吗？