Hadoop RIAK CS中S3上的配置单元创建表
我在Hadoop集群上运行配置单元服务。我试图在Eucalyptus(RIAK CS)S3数据上创建一个蜂巢表。我已经在core-site.xml和hive-site.xml中配置了AccessKeyID和SecretAccessKey。当我执行Create table命令并使用s3n模式指定S3位置时,我得到以下错误: 失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。MetaException(消息:org.apache.http.conn.ConnectTimeoutException:connecttomybucket.s3.amazonaws.com:443超时) 如果我尝试使用s3a模式,会出现以下错误: 失败:AmazonClientException无法从链中的任何提供者加载AWS凭据Hadoop RIAK CS中S3上的配置单元创建表,hadoop,amazon-s3,hive,eucalyptus,riak-cs,Hadoop,Amazon S3,Hive,Eucalyptus,Riak Cs,我在Hadoop集群上运行配置单元服务。我试图在Eucalyptus(RIAK CS)S3数据上创建一个蜂巢表。我已经在core-site.xml和hive-site.xml中配置了AccessKeyID和SecretAccessKey。当我执行Create table命令并使用s3n模式指定S3位置时,我得到以下错误: 失败:执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。MetaException(消息:org.apache.http.c
我可以使用jets3t更改distcp命令的端点URL,但这对配置单元不起作用。欢迎任何将Hive指向Eucalyptus S3端点的建议。我不熟悉Hive,但只要我听说它使用MapReduce作为后端处理系统就行了。MapReduce使用jets3t作为S3连接器-在MapReduce和Spark中更改其配置对我来说都很有用。希望这有助于: 配置如 s3service.https only=false s3service.s3 endpoint=yourdomain.com s3service.s3端点http端口=8080 s3service.s3端点https端口=8080
是否适合您?我已经升级到HDP2.3(Hadoop 2.7),现在我可以配置s3a架构,以便配置从Hive到S3的访问。是否可以通过更简单的命令行工具连接Riak CS,例如s3cmd或s3curl?是的,我可以使用s3cmd进行连接。还有一些问题。-您在s3cmd中也使用了https吗?-在连接riak cs时,是否可以尝试连接普通http而不是https您是否使用代理连接到riak cs?-您能否确认客户端确实尝试连接到您的riak cs服务器riak cs日志中是否有指示错误的行?我已使用带有端点URL的s3cfg文件为我的帐户配置了S3访问权限。我没有为连接配置http或https协议。配置单元客户端未尝试连接到RIAK CS。默认情况下,客户端指向“s3.amazonaws.com”,我无法将其修改为所需的端点。是否要连接到AWS s3或(您自己的?)riak cs?如果您的配置单元客户端未尝试连接ro Riak CS,则这不是与Riak CS相关的问题。我已尝试使用上述配置设置jets3t.properties,但配置单元客户端仍指向s3.amazonaws.com