Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/377.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 如何在hadoop配置中正确设置s3a配置?_Java_Amazon Web Services_Hadoop_Amazon S3 - Fatal编程技术网

Java 如何在hadoop配置中正确设置s3a配置?

Java 如何在hadoop配置中正确设置s3a配置?,java,amazon-web-services,hadoop,amazon-s3,Java,Amazon Web Services,Hadoop,Amazon S3,我遇到奇怪的错误,例如-无法获取aws凭据或无法从加载凭据 有没有办法在hadoop配置中显式设置s3a凭据?由于s3a是相对较新的实现(并且在hadoop 2.7中正常工作),您需要在hadoop配置中设置两组属性- conf.set("fs.s3a.access.key", access_key); conf.set("fs.s3a.secret.key", secret_key); conf.set("fs.s3a.awsAccessKeyId", access_k

我遇到奇怪的错误,例如-无法获取aws凭据或无法从加载凭据


有没有办法在hadoop配置中显式设置s3a凭据?

由于s3a是相对较新的实现(并且在hadoop 2.7中正常工作),您需要在hadoop配置中设置两组属性-

    conf.set("fs.s3a.access.key", access_key);
    conf.set("fs.s3a.secret.key", secret_key);
    conf.set("fs.s3a.awsAccessKeyId", access_key);
    conf.set("fs.s3a.awsSecretAccessKey", secret_key);
(conf是hadoop配置)


原因是命名约定在不同版本之间发生了变化,为了安全起见,需要同时设置这两个属性,因为s3a是相对较新的实现(并且在hadoop 2.7中可以正常工作),所以需要在hadoop配置中设置两个属性集-

    conf.set("fs.s3a.access.key", access_key);
    conf.set("fs.s3a.secret.key", secret_key);
    conf.set("fs.s3a.awsAccessKeyId", access_key);
    conf.set("fs.s3a.awsSecretAccessKey", secret_key);
(conf是hadoop配置)


原因是命名约定在不同版本之间发生了变化,为了安全起见,将两者都设置为

我不知道原因,但它解决了我的问题。conf.set(“fs.s3a.awsAccessKeyId”,access_key);//不工作的conf.set(“fs.s3a.access.key”,access\u key)//你知道是什么版本改变了配置名吗?我不知道原因,但它解决了我的问题。conf.set(“fs.s3a.awsAccessKeyId”,access_key);//不工作的conf.set(“fs.s3a.access.key”,access\u key)//有效您知道是哪个版本更改了配置名称吗?