Hadoop 找不到密钥为dfs.encryption.key.provider.uri的uri,无法在CDH 5.4的HDFS加密中创建密钥提供程序 CDH版本:CDH5.4.5

Hadoop 找不到密钥为dfs.encryption.key.provider.uri的uri,无法在CDH 5.4的HDFS加密中创建密钥提供程序 CDH版本:CDH5.4.5,hadoop,encryption,copy,hdfs,cloudera-cdh,Hadoop,Encryption,Copy,Hdfs,Cloudera Cdh,问题:当使用Hadoop CDH 5.4中可用的KMS启用HDFS加密时,将文件放入加密区域时出错 步骤: Hadoop的加密步骤如下: 创造关键[成功] [tester@master ~]$ hadoop key create 'TDEHDP' -provider kms://https@10.1.118.1/key_generator/kms -size 128 tde group has been successfully created with options Options{ci

问题:当使用Hadoop CDH 5.4中可用的KMS启用HDFS加密时,将文件放入加密区域时出错

步骤:

Hadoop的加密步骤如下:

  • 创造关键[成功]

    [tester@master ~]$ hadoop key create 'TDEHDP' 
    -provider kms://https@10.1.118.1/key_generator/kms -size 128
    tde group has been successfully created with options 
    Options{cipher='AES/CTR/NoPadding', bitLength=128, description='null', attributes=null}.
    KMSClientProvider[https://10.1.118.1/key_generator/kms/v1/] has been updated.
    
    [tester@master ~]$ hdfs dfs -mkdir /user/tester/vs_key_testdir
    
    [tester@master ~]$ hdfs crypto -createZone -keyName 'TDEHDP' 
    -path /user/tester/vs_key_testdir
    Added encryption zone /user/tester/vs_key_testdir
    
  • 2.创建目录[成功]

    [tester@master ~]$ hadoop key create 'TDEHDP' 
    -provider kms://https@10.1.118.1/key_generator/kms -size 128
    tde group has been successfully created with options 
    Options{cipher='AES/CTR/NoPadding', bitLength=128, description='null', attributes=null}.
    KMSClientProvider[https://10.1.118.1/key_generator/kms/v1/] has been updated.
    
    [tester@master ~]$ hdfs dfs -mkdir /user/tester/vs_key_testdir
    
    [tester@master ~]$ hdfs crypto -createZone -keyName 'TDEHDP' 
    -path /user/tester/vs_key_testdir
    Added encryption zone /user/tester/vs_key_testdir
    
  • 添加加密区域[成功]

    [tester@master ~]$ hadoop key create 'TDEHDP' 
    -provider kms://https@10.1.118.1/key_generator/kms -size 128
    tde group has been successfully created with options 
    Options{cipher='AES/CTR/NoPadding', bitLength=128, description='null', attributes=null}.
    KMSClientProvider[https://10.1.118.1/key_generator/kms/v1/] has been updated.
    
    [tester@master ~]$ hdfs dfs -mkdir /user/tester/vs_key_testdir
    
    [tester@master ~]$ hdfs crypto -createZone -keyName 'TDEHDP' 
    -path /user/tester/vs_key_testdir
    Added encryption zone /user/tester/vs_key_testdir
    
  • 正在将文件复制到加密区域[错误]

    [tdetester@master ~]$ hdfs dfs -copyFromLocal test.txt /user/tester/vs_key_testdir
    
  • 15/09/04 06:06:33错误hdfs.KeyProviderCache:找不到具有的uri key[dfs.encryption.key.provider.uri]创建密钥提供程序!! copyFromLocal:未配置密钥提供程序,无法访问 加密文件15/09/04 06:06:33错误hdfs.DFSClient:无法关闭 inode 20823 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): 没有/user/tester/vs_key_testdir/test.txt.COPYING(inode)上的租约 20823):文件不存在。持有人 DFSClient_NONMAPREDUCE_1061684229_1没有任何打开的文件


    任何想法/建议都会很有帮助。

    此问题已在此处交叉发布:

    主要结论:这不是一个问题

    以下是支持人员提供的答案:

    CDH的基本发布版本就是:基本。解决问题的办法 所有CDH5版本中都存在HDFS-7931导致的无害日志打印 自CDH 5.4.1以来

    如果您在配置KMS的上下文中看到该错误,那么 值得考虑的一个问题。如果不使用KMS或EZs,则会出现错误 可能会被忽略。或者升级至最新的CDH5(5.4.x或 (5.5.x)发布以接收错误修复,该错误修复仅在通过加密路径配置KMS的上下文中出现

    根据您的日志片段,我没有看到问题(金丝雀没有) 似乎失败了。如果您试图报告失败,请 请向我们发送更多故障特征,因为HDFS-7931是次要故障 出现不必要的日志打印问题