Amazon ec2 使用Louis Aslett';将大文件上载到RStudio时出现问题;EC2上的AMI

Amazon ec2 使用Louis Aslett';将大文件上载到RStudio时出现问题;EC2上的AMI,amazon-ec2,cloud,rstudio,rstudio-server,Amazon Ec2,Cloud,Rstudio,Rstudio Server,在完成了这个简单的教程和视频指南之后,我在EC2上设置了一个RStudio环境 唯一的问题是,我不能上传大文件(>1GB) 我可以上传小文件 当我试图通过RStudio上传文件时,会出现以下错误: 来自服务器的意外空响应 有人知道我如何上传这些大文件以便在RStudio中使用吗?这就是我首先使用EC2(处理大数据)的全部原因。您没有访问Amazon服务器的shell权限吗?不要依赖RStudio的上传(合理地说,它可能有2Gb的限制)并使用适当的unix开发工具: rsync -avz myHu

在完成了这个简单的教程和视频指南之后,我在EC2上设置了一个RStudio环境

唯一的问题是,我不能上传大文件(>1GB)

我可以上传小文件

当我试图通过RStudio上传文件时,会出现以下错误:

来自服务器的意外空响应


有人知道我如何上传这些大文件以便在RStudio中使用吗?这就是我首先使用EC2(处理大数据)的全部原因。

您没有访问Amazon服务器的shell权限吗?不要依赖RStudio的上传(合理地说,它可能有2Gb的限制)并使用适当的unix开发工具:

rsync -avz myHugeFile.dat amazonusername@my.amazon.host.ip:
在您的本地PC上,命令行(安装cygwin或其他unixy兼容系统)将把您的大文件传输到您的amazon服务器,如果中断,将从该点恢复,并将压缩数据以进行传输


对于像这样的windows gui,WinSCP是我们在Linux之前糟糕的旧时代经常做的事情。

好吧,所以我自己也有同样的问题,令人难以置信地沮丧,但最终我意识到这里发生了什么。无论实例大小如何,AWS的默认主目录大小都小于8-10GB。因为这就像试图上传到家里,所以没有足够的空间。一个有经验的linux用户不会落入这个陷阱,但希望任何其他新接触这个问题的windows用户都能看到这一点。如果您上传到实例上的其他驱动器中,则可以解决此问题。由于Louis Aslett Rstudio AMI基于此8-10GB空间,因此您必须将工作目录设置在主目录之外。从Rstudio服务器界面上看不明显。虽然这是一个高级论坛,这是一个新手错误,我希望没有人删除这个问题,因为我花了几个月的时间在这个问题上,我想其他人也会删除。我希望这对您有意义?

我对5GB文件也有类似的问题。对我来说,有效的方法是使用SQLite创建一个包含我需要的csv文件的数据库。使用SQLite代码创建数据库。然后我使用RStudio中的一个函数与本地数据库通信。通过这种方式,我能够引入csv文件。如果你愿意,我可以找到我用过的R代码

这可能与您的web服务器有关。您是否使用nginx或apache作为web服务器。如果是这样,您可以修改nginx服务器中的上载功能。如果您在web服务器的前端运行nginx,我建议您在nginx.conf文件中进行以下修复

http {
    ...
    client_max_body_size 100M;
}  

出现了另一个问题,要求澄清“当有人说目录需要是“home”以外的内容时,请解释一下。您如何实现它?因为Louis AMI中没有这样做的许可”我认为这可能与此相关,因此我在本评论中加入了与此问题的链接,因为它要求澄清与此处建议的方法等效的方法