Amazon s3 Impala Shell-无法从Cloudera群集链中的任何提供商加载AWS凭据

Amazon s3 Impala Shell-无法从Cloudera群集链中的任何提供商加载AWS凭据,amazon-s3,cloudera,aws-cli,impala,Amazon S3,Cloudera,Aws Cli,Impala,我有一个Cloudera集群,有3个工作节点、1个管理器和1台网关机器。我已使用密钥和访问密钥在群集上配置aws凭据。但是我无法从网关机器对s3 bucket执行任何操作。创建表、数据库或查询会引发异常: 错误:AnalysisException:null 原因:AmazonClientException:无法从链中的任何提供程序加载AWS凭据 我能够列出存储桶或执行与aws CLI相关的操作。只有在黑斑羚壳中,它才会抛出这个错误 群集上的每个impalad节点实际上都在做这项工作,因此每个节点

我有一个Cloudera集群,有3个工作节点、1个管理器和1台网关机器。我已使用密钥和访问密钥在群集上配置aws凭据。但是我无法从网关机器对s3 bucket执行任何操作。创建表、数据库或查询会引发异常:

错误:AnalysisException:null 原因:AmazonClientException:无法从链中的任何提供程序加载AWS凭据


我能够列出存储桶或执行与aws CLI相关的操作。只有在黑斑羚壳中,它才会抛出这个错误

群集上的每个impalad节点实际上都在做这项工作,因此每个节点都需要访问S3,而不仅仅是网关。

群集上的每个impalad节点实际上都在做这项工作,因此每个节点都需要访问S3,而不仅仅是网关。

您需要在hdfs-site.xml中配置AWS AccessKey。 您可以按照这篇Cloudera文章中的步骤进行操作:

您需要在hdfs站点/xml中添加以下属性:

<property>
  <name>fs.s3a.access.key</name>
  <value>your_access_key</value>
</property>
<property>
  <name>fs.s3a.secret.key</name>
  <value>your_secret_key</value>
</property>

fs.s3a.access.key
您的\u访问\u密钥
fs.s3a.secret.key
你的秘密钥匙

如果使用代理,还需要添加fs.s3a.proxy.host和fs.s3a.proxy.port属性。

您需要在hdfs-site.xml中配置AWS AccessKey。 您可以按照这篇Cloudera文章中的步骤进行操作:

您需要在hdfs站点/xml中添加以下属性:

<property>
  <name>fs.s3a.access.key</name>
  <value>your_access_key</value>
</property>
<property>
  <name>fs.s3a.secret.key</name>
  <value>your_secret_key</value>
</property>

fs.s3a.access.key
您的\u访问\u密钥
fs.s3a.secret.key
你的秘密钥匙

如果使用代理,还需要添加fs.s3a.proxy.host和fs.s3a.proxy.port属性。

这些属性在同一台计算机上,对吗?您是如何配置凭据的?我不明白您所说的同一台机器是什么意思。我正在从客户机(网关)访问Impala—在一个5节点的Cloudera集群上。我在HDFS-site.xml字段的HDFS客户机高级配置代码段(安全阀)上添加了访问密钥和密钥。在蜂巢站点和黑斑羚配置上也添加了相同的属性。这些都在同一台机器上,对吗?您是如何配置凭据的?我不明白您所说的同一台机器是什么意思。我正在从客户机(网关)访问Impala—在一个5节点的Cloudera集群上。我在HDFS-site.xml字段的HDFS客户机高级配置代码段(安全阀)上添加了访问密钥和密钥。在蜂巢站点和黑斑羚配置上也添加了相同的属性。