从R访问S3存储桶

我在AWS上的EC2实例上设置了R。 我有一些csv文件上传到S3存储桶中。 我想知道是否有办法从R访问S3存储桶中的csv文件

---

任何帮助/提示都将不胜感激。

输入以下命令：

install.packages（“AWS.tools”）

---

从这里开始，使用

s3.get（）

命令。

Help

选项卡应该告诉您参数的含义。

安装

libdigest-hmac-perl

包

sudo apt-get install libdigest-hmac-perl

---

看看cloudyr

aws.s3

package（），它可能会满足您的需要。不幸的是（在撰写本文时），这个包还处于早期阶段&有点不稳定

仅使用R的

system（）

命令调用AWS CLI，我就取得了很大的成功。这是相对容易开始，非常强大和非常好的支持

从这里开始：

使用S3API列出对象：

使用S3 API获取对象：

因此，例如，在命令行上尝试以下操作：

pip install awscli
aws configure
aws s3 help
aws s3api list-objects --bucket some-bucket --query 'Contents[].{Key: Key}'
aws s3api get-object --bucket some-bucket --key some_file.csv new_file_name.csv

在R中，可以执行以下操作：

system("aws s3api list-objects --bucket some-bucket --query 'Contents[].{Key: Key}' > my_bucket.json")

---

我使用

RAmazonS3

<代码>安装程序包（“RAmazonS3”，repos=”http://www.omegahat.org/R“，type=“source”）可能适合您安装。@jdharison-当我试图在Windows上安装该软件包时，它工作正常，但当我试图在AWS上托管的ubuntu EC2实例上安装该软件包时，我在尝试从R控制台安装时遇到以下错误：-错误：依赖项“bitops”不适用于包“RCurl”*删除“/home/ubuntu/R/x86_64-pc-linux-gnu-library/3.0/RCurl”错误：依赖项“RCurl”，“摘要”不适用于软件包“RAmazonS3”*删除“/home/ubuntu/R/x86_64-pc-linux-gnu-library/3.0/RAmazonS3”@jdharison-当尝试从安装在EC2机器上的R studio安装相同的软件包时，出现以下错误：-检查perl/usr/bin/perl您必须安装Digest:：HMAC_SHA1检查md5sum/usr/bin/md5sum安装相关软件（摘要：：HMAC_SHA1），然后再次运行此配置。错误：软件包“RAmazonS3”*的配置失败，正在删除“/home/r/r/x86_64-pc-linux-gnu-library/3.0/RAmazonS3”AWS.tools已在维护人员的请求下存档，该维护人员目前正在处理一个名为Rawsci的替换软件包。