Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop RIAK CS中S3上的配置单元创建表_Hadoop_Amazon S3_Hive_Eucalyptus_Riak Cs - Fatal编程技术网

Hadoop RIAK CS中S3上的配置单元创建表

Hadoop RIAK CS中S3上的配置单元创建表,hadoop,amazon-s3,hive,eucalyptus,riak-cs,Hadoop,Amazon S3,Hive,Eucalyptus,Riak Cs,我在Hadoop集群上运行配置单元服务。我试图在Eucalyptus(RIAK CS)S3数据上创建一个蜂巢表。我已经在core-site.xml和hive-site.xml中配置了AccessKeyID和SecretAccessKey。当我执行Create table命令并使用s3n模式指定S3位置时,我得到以下错误: 失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。MetaException(消息:org.apache.http.c

我在Hadoop集群上运行配置单元服务。我试图在Eucalyptus(RIAK CS)S3数据上创建一个蜂巢表。我已经在core-site.xml和hive-site.xml中配置了AccessKeyID和SecretAccessKey。当我执行Create table命令并使用s3n模式指定S3位置时,我得到以下错误:

失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。MetaException(消息:org.apache.http.conn.ConnectTimeoutException:connecttomybucket.s3.amazonaws.com:443超时)

如果我尝试使用s3a模式,会出现以下错误:

失败:AmazonClientException无法从链中的任何提供者加载AWS凭据


我可以使用jets3t更改distcp命令的端点URL,但这对配置单元不起作用。欢迎任何将Hive指向Eucalyptus S3端点的建议。

我不熟悉Hive,但只要我听说它使用MapReduce作为后端处理系统就行了。MapReduce使用jets3t作为S3连接器-在MapReduce和Spark中更改其配置对我来说都很有用。希望这有助于:

配置如

s3service.https only=false

s3service.s3 endpoint=yourdomain.com

s3service.s3端点http端口=8080

s3service.s3端点https端口=8080


是否适合您?

我已经升级到HDP2.3(Hadoop 2.7),现在我可以配置s3a架构,以便配置从Hive到S3的访问。

是否可以通过更简单的命令行工具连接Riak CS,例如s3cmd或s3curl?是的,我可以使用s3cmd进行连接。还有一些问题。-您在s3cmd中也使用了https吗?-在连接riak cs时,是否可以尝试连接普通http而不是https您是否使用代理连接到riak cs?-您能否确认客户端确实尝试连接到您的riak cs服务器riak cs日志中是否有指示错误的行?我已使用带有端点URL的s3cfg文件为我的帐户配置了S3访问权限。我没有为连接配置http或https协议。配置单元客户端未尝试连接到RIAK CS。默认情况下,客户端指向“s3.amazonaws.com”,我无法将其修改为所需的端点。是否要连接到AWS s3或(您自己的?)riak cs?如果您的配置单元客户端未尝试连接ro Riak CS,则这不是与Riak CS相关的问题。我已尝试使用上述配置设置jets3t.properties,但配置单元客户端仍指向s3.amazonaws.com