Apache spark 来自Spark/Dataframes的AWS SSE-KMS加密

我已配置启用加密的EMR群集（emrfs site.xml中的属性） 我正在使用dataframe savemode.append写入S3n://my bucket/path/ 保存在s3中

但我无法看到对象正在进行AWS KMS加密。 然而，当我从EMR的配置单元中进行简单的插入时，我能够看到对象正在被aws kms加密

---

如何使用sse kms加密S3中数据帧中的文件

问题是我们使用s3a将spark程序中的文件保存到EMR。AWS官方不支持在EMR上使用s3a。虽然我们能够在S3中保存数据，但它并没有对数据进行加密。我尝试使用s3://和s3n://这两种加密方式都可以使用。

您如何指定加密设置？如果您使用的是EMR，请使用KMS密钥创建一个安全配置文件，并在创建EMR时附加该配置文件，这样您的EMR将启用KMS/加密。