Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/r/69.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Rstudio上的SparkR-无法访问s3_R_Apache Spark_Hadoop_Amazon S3 - Fatal编程技术网

Rstudio上的SparkR-无法访问s3

Rstudio上的SparkR-无法访问s3,r,apache-spark,hadoop,amazon-s3,R,Apache Spark,Hadoop,Amazon S3,我已经在EC2上安装了带有R(和Rstudio)的SparkR。我正在尝试读取s3上的文件: temp <- textFile(sc, "s3://dev.xxxx.com/txttest") 我尝试添加我的访问密钥+密码,如下所示: temp <- textFile(sc, "s3:{access_key:secret_key}@dev.xxxx.com/txttest") 我也试着用 export AWS_SECRET_ACCESS_KEY=222222222222222

我已经在EC2上安装了带有R(和Rstudio)的SparkR。我正在尝试读取s3上的文件:

temp  <- textFile(sc, "s3://dev.xxxx.com/txttest")
我尝试添加我的访问密钥+密码,如下所示:

temp  <- textFile(sc, "s3:{access_key:secret_key}@dev.xxxx.com/txttest")
我也试着用

export AWS_SECRET_ACCESS_KEY=2222222222222222222222222222222222222222 
export AWS_ACCESS_KEY_ID=11111111111111111111`  
在启动群集之前,但无效

问题:
1.如何更改
fs.s3.awsAccessKeyId
fs.s3.awsSecretAccessKey
属性?
2.URI中是否缺少正确的语法


非常感谢您的帮助。

您是否尝试在SparkConf中设置键?是的。。但是得到:rdd=textFile('s3n://dev.xxx.com/txtest',conf={'fs.s3n.awsAccessKeyId':'111111','fs.s3n.awsseccesskey':'22222222',})错误:意外,'in“rdd=textFile('s3n://dev.adk2.com/txtest',conf={'fs.s3n.awsAccessKeyId':'1111111,”你的awsSecretAccessKey后面的逗号是什么意思?是的。我也这么想。它的语法不同,imhm。在没有它的情况下尝试了相同的响应。我在这里添加了注释,而不是“回答栏”因为我不确定我的答案是否适合您。我经常使用csv文件而不是文本文件。在这种情况下,我按照以下方式编写,它对我很有效:
read.df(sqlContext,path=“s3n://xxxx:xxxx@bucket/mycsv.csv”,source=“com.databricks.spark.csv”,header=“true”)
然后,我建议您尝试像
temp那样编写
Invalid hostname in URI s3://11111111111111111111:2222222222222222222222222222222222222222@dev.xxx.com
at org.apache.hadoop.fs.s3.S3Credentials.initialize(S3Credentials.java:41)`
export AWS_SECRET_ACCESS_KEY=2222222222222222222222222222222222222222 
export AWS_ACCESS_KEY_ID=11111111111111111111`