Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 如何使用包AWSS3.jl连接到运行在EC2实例上的S3 bucket?_Amazon Web Services_Amazon S3_Julia - Fatal编程技术网

Amazon web services 如何使用包AWSS3.jl连接到运行在EC2实例上的S3 bucket?

Amazon web services 如何使用包AWSS3.jl连接到运行在EC2实例上的S3 bucket?,amazon-web-services,amazon-s3,julia,Amazon Web Services,Amazon S3,Julia,我试图在AWS计算集群上使用Julia,处理来自AmazonS3存储桶的数据 如何在JuliaAWSS3.jl中打开与S3存储桶的连接 我特别想知道,配置连接并随后使用Julia提供的配置的最佳方法是什么 创建具有S3访问权限的AWS策略(特别是PutObject,GetObject等) 创建一个面向EC2的IAM角色,并将策略从第一步添加到该角色 将IAM角色分配给EC2实例(或者可能将其配置为在为集群创建EC2实例时在实例配置文件中使用) 现在你准备好在茱莉亚做你的工作了。下面是一个简

我试图在AWS计算集群上使用Julia,处理来自AmazonS3存储桶的数据

如何在Julia
AWSS3.jl
中打开与S3存储桶的连接

我特别想知道,配置连接并随后使用Julia提供的配置的最佳方法是什么

  • 创建具有S3访问权限的AWS策略(特别是
    PutObject
    GetObject
    等)

  • 创建一个面向EC2的IAM角色,并将策略从第一步添加到该角色

  • 将IAM角色分配给EC2实例(或者可能将其配置为在为集群创建EC2实例时在实例配置文件中使用)

  • 现在你准备好在茱莉亚做你的工作了。下面是一个简单的示例,它将任何Julia对象序列化并反序列化到S3 bucket


  • 如果您对第1-3点有任何问题,请参阅本教程:

    非常感谢,事实上,对于其他人,我使用的函数由于某些原因不起作用,例如s3\u list\u bucket。希望这能帮助别人
    using AWS, AWSS3, Serialization
    struct SampleData
      a::Int
      b::String
    end
    
    d=SampleData(1,"sss")
    aws = global_aws_config(; region="us-east-1")
    b = IOBuffer()
    serialize(b, d)
    
    s3_put(aws, "your-s3-bucket-name","myfile.bin", b.data)
    
    ddat = s3_get(aws, "your-s3-bucket-name","myfile.bin")
    d2 = deserialize(IOBuffer(ddat))
    
    @assert d == d2