通过hadoop访问s3n URL并指向riak cs
我在hadoop中使用s3和s3n URL为AmazonEMR编写了代码 例如猪:通过hadoop访问s3n URL并指向riak cs,hadoop,amazon-s3,riak-cs,Hadoop,Amazon S3,Riak Cs,我在hadoop中使用s3和s3n URL为AmazonEMR编写了代码 例如猪: X = LOAD("s3n://testbucket/testfile.txt") using PigStorage(); 我想继续使用代码,转而使用Riak CS而不是AmazonS3 i、 我希望S3URL指向我的Riak CS集群,在那里我将设置bucket和文件 Hadoop配置中是否有通过代理或特定主机名路由s3n URL的选项。Setup jets3t.properties请参阅Riak CS en
X = LOAD("s3n://testbucket/testfile.txt") using PigStorage();
我想继续使用代码,转而使用Riak CS而不是AmazonS3
i、 我希望S3URL指向我的Riak CS集群,在那里我将设置bucket和文件
Hadoop配置中是否有通过代理或特定主机名路由s3n URL的选项。Setup jets3t.properties请参阅Riak CS endpoint。本地设置示例如下:
请在您的答案中包含来自外部链接的代码,这样,如果链接停止工作,您的答案仍然会有帮助。
> cat conf/jets3t.properties
s3service.https-only=false
#s3service.s3-endpoint=localhost
#s3service.s3-endpoint-http-port=8080
#s3service.s3-endpoint-https-port=8080
#s3service.disable-dns-buckets=true
httpclient.proxy-autodetect=false
httpclient.proxy-host=localhost
httpclient.proxy-port=8080
httpclient.retry-max=11