我们是一家非常小的移动公司（为iphone构建应用程序），目前正在考虑托管服务。我们目前倾向于亚马逊的托管/网络服务。因此，我有一些问题： 1） 我可以在AWS上创建一个管理员帐户，并将用户帐户分配给应该可以访问大多数（但不是所有）功能的开发人员 2） 我们是否需要在产品开发中学习/使用AWS API？我不喜欢这个 必须在托管服务中创建挂钩的想法 3） AWS的定价似乎随使用情况而变化。那么，既然我们正在开发中，现在只有开发人员访问服务器，那么我认为成本会非常低，这是对的吗 4） AWS如何进行

AmazonS3支持渐进式下载吗？我只希望我的视频在完全加载之前开始播放 我还不需要真正的流媒体。是的，答案很简单 在下载整个文件之前，您需要以支持播放的格式对视频进行编码，您的视频播放器也需要支持这种格式。但是这些要求与任何其他文件服务器都没有什么不同。@Peter-I不熟悉ogg/theora的细节，但是如果它能在普通的web主机上正常工作，它将在S3上工作。

我想每天把一些文件从生产桶复制到开发桶 例如： 复制productionbucket/feed/feedname/date 至开发桶/饲料/饲料名称/日期 因为我想要的文件在文件夹结构中的位置很深，所以转到每个文件夹并进行复制/粘贴太耗时 我曾经尝试过将驱动器装载到每个存储桶并编写windows批处理脚本，但这非常缓慢，而且它不必要地将所有文件/文件夹下载到本地服务器并重新备份。Update 正如（+1）所示，现在的卓越为与（几乎）所有AWS交互提供了最通用的方法-它同时涵盖了大多数服务的API

我试图在s3存储中的所有现有文件上设置缓存控制头，方法是执行一个副本，复制到完全相同的密钥，但使用新的元数据。S3API通过x-amz-metadata-directive:REPLACE头支持这一点。在文档中，对象复制方法的S3API兼容性既没有被列为受支持的，也没有被列为不受支持的 复制本身可以正常工作（复制到另一个键），但设置新元数据的选项似乎不适用于复制到同一个键或不同的键。ATMOS s3兼容API是否不支持这一点和/或是否有其他方法可以更新元数据，而无需读取所有内容并将其写回存储器

在Kotlin中是否有创建S3预签名URL的示例工作代码？我可以从Java示例中修改它吗？这是示例代码的直接副本（由IntelliJ转换） 下面的代码与Kotlin的代码更为惯用，使用Java 8 LocalDateTime计算过期日期： val expiration = LocalDateTime.now().plusHours(1) val generatePresignedUrlRequest = GeneratePresignedUrlRequest(bucketName, object

我已经使用gsutil为我的bucket设置了CORS，我认为应该可以使用，但是我还没有通过“请求的资源上没有“访问控制允许源”头”错误 这是我的cors json： [ { "origin": [ "*" ], "responseHeader": [ "Content-Type", "Content-MD5" ], "method": [ "PUT", "POST", "GET"

我们希望将表迁移到Spectrum，这需要定义一个外部模式 create external schema spectrum from data catalog database 'spectrumdb' iam_role 'my_iam_role' create external database if not exists; 我用红移创建了一个外部表，如下所示： create external table spectrum.my_table( id bigint, accountI

这是我在alexa开发者控制台上测试的内容，但我没有播放它。只是为了给寻找答案的人一个很好的总结： “当Alexa给出此响应时，听起来是这样的： 欢迎来到车福。 （播放指定的amzn_sfx_car_accelerate_01.mp3音频文件） 亚历克莎：你可以订一辆车，或者要求估算票价。你会选哪一辆？” 服务响应中包含的音频文件必须非常短，以确保良好的用户体验一次响应最多可包含五个音频文件。一次响应中所有音频文件的总时间不能超过240秒。有关音频文件的特定要求和限制，请参阅语音合成标记语言（

在生成签名以从AmazonS3获取虚拟托管样式的对象时，我遇到了一些问题 任何人都可以共享我的脚本，使用curl生成具有虚拟托管样式的对象的脚本。谢谢 通过aws s3命令行： aws s3 presign s3://awsexamplebucket/test2.txt --expires-in 604800 我不认为有一个现成的RESTAPI可以实现这一点。描述了一些API客户机选项

我试图从S3（加密）读取一个简单的csv文件，但一直遇到各种问题 我创建了一个IAM用户（仅限编程访问），将访问密钥id和机密访问密钥放在一边 我给了那个用户一个策略，我理解下面的策略应该给它对我的bucket中的所有内容的读/写权限 { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3

我尝试使用AWS控制台，但在公开了几百个文件后，我发现了错误。其他易于使用的方法？您必须更改每个资源上的ACL。你可以很容易地用或来做这件事。没有“应用于子对象”操作。可能重复的

我正在尝试阻止特定域中Cloudfront文件的热链接。通过结合在线示例和亚马逊自己的策略生成器，我得出以下结论： { "Version": "2008-10-17", "Id": "http referer policy", "Statement": [{ "Sid": "Block image requests", "Action": "s3:GetObject", "Effect": "Deny", "Resource": "arn:aws:s3

我一直在创建预先签名的HTTP PUT URL，一切都很好，直到我想开始在S3中使用“文件夹”；我希望密钥具有字符“/” 现在，当我发送HTTP PUT请求时，我得到的签名不匹配，因为“/”可能更改为%2F。。。如果在创建预签名URL之前转义该字符，效果会很好，但是Amazon控制台管理层不理解它，将其显示为一个文件而不是子文件夹 有什么想法吗 附加说明 HTTP PUT请求是用C++与POCO网络库一起发送的。 编辑 我使用Poco HttpRequest从C++到我的java Web服务器来

想知道如何在普通的AWS S3控制台中查看此S3存储桶吗？如果我浏览到下面的链接，我得到的只是一个xml内容列表。我想在普通AWS控制台中查看bucket，以便从bucket下载特定文件 由于以下两个原因，无法在中直接查看bucket URL： 首先也是最重要的一点是，您需要成为bucket的所有者，因为AWS管理控制台提供了对您的计算、存储和其他云资源[emphasis mine]的方便管理；也就是说，您必须登录到您的帐户才能访问与该特定帐户关联的资源，无法访问其他帐户的资源 即使这将是您的

我有以下政策： { “版本”：“2008-10-17”， “Id”：“MyDomainpremiumflvfiles”， “声明”：[ { “Sid”：“允许向特定的推荐人发送get请求”， “效果”：“允许”， “委托人”：{ “AWS”：“*” }, “操作”：“s3:GetObject”， “资源”：“arn:aws:s3:：：premiumflvfiles/*”， “条件”：{ “线状”：{ “aws:Referer”：[ "http://mydomain.com/*", "http:/

我正在尝试实施IAM策略，其中用户也只能访问他有权访问的文件夹。我从Amazon文档中得到了这个代码 允许用户仅列出公司存储桶中其主目录中的对象 此示例基于上一个示例，该示例为Bob提供了一个主目录。为了让Bob能够列出主目录中的对象，他需要访问ListBucket。但是，我们希望结果只包括主目录中的对象，而不是bucket中的所有内容。为了以这种方式限制他的访问，我们使用名为s3:prefix的策略条件键，其值设置为home/bob/。这意味着ListBucket响应中只返回前缀为home/b

我已经将大的二进制文件分割成（2Gb）块，并将其上传到AmazonS3。 现在，我想将它连接回一个文件，并使用我的自定义 我试着跑 elastic-mapreduce -j $JOBID -ssh \ "hadoop dfs -cat s3n://bucket/dir/in/* > s3n://bucket/dir/outfile" 但它失败了，因为-猫输出数据到我的本地终端-它不能远程工作 我怎么能做到 另外，我曾尝试将cat作为流媒体MR作业运行： den@aws:~$ elas

我一直在开发一个应用程序，它需要支持数据对象上的异步读取和附加写入。换句话说，缓冲区。在任何给定的时间都会有许多数据对象 我一直在研究可用的分布式文件系统，以找到一个支持在写入文件时读取文件的系统，但我的搜索没有找到任何结果。根据经验，我知道AmazonS3不支持这一点，但我不确定是否支持Hadoop之类的其他产品 解决方案：分块？ 我曾想过将数据分块作为一种解决方案，这将涉及将传入的写入分为n字节的块，以便作为一个整体写入DFS。不再需要的数据块可以在不影响写入新数据的情况下删除，因为它们是D

我想在S3上的拼花地板上保留一份日志数据副本，以便进行特别分析。我主要通过Spark使用Parquet，它似乎只提供通过SQLContext.parquetFile（）和SQLContext.saveAsParquetFile（）读取和写入整个表的操作 是否有任何方法向现有拼花地板表添加数据 没有写一份全新的副本 特别是当它存储在S3中时 我知道我可以为更新创建单独的表，在Spark中，我可以在查询时在Spark中形成对应数据帧的并集，但我对其可伸缩性表示怀疑 如果需要，我可以使用Spark以外

1） 如何预先确定要使用的RDD分区的数量 创建？ 2） 数据分区所依赖的所有因素是什么？是 它只显示数据的大小和存储方式（压缩、顺序） 等等……） 为了简单起见，假设我在HDFS中有一个6GB的文件存储为纯文本文件 我的集群是一个EC2集群，配置如下 1个主节点-m3.xlarge（4芯，15GB Ram） 4个核心节点-m3.xlarge（4个核心，每个15GB Ram） 更新： 如果存储在s3、HBase或任何NoSQL中会发生什么情况？分区取决于文件类型。在您的情况下，因为它是一个HDF

我有一个AmazonS3的AWS\u密钥\u ID和AWS\u密码\u访问密钥。我不知道账目。如何在浏览器中的s3中创建一个bucket而不使用AWS密钥进入Amazon帐户？您有两个选项：使用AWS CLI或s3cmd，在每种情况下，您首先必须创建一个包含密钥ID和密钥访问密钥的凭证文件。以下是一篇博客文章，解释如下： 然后下载您选择的实用程序（AWS CLI或s3cmd），安装并使用命令行创建bucket 这是使用AWS CLI的示例： aws s3 mb s3://您的桶名——美国东部地

我正在使用一个配置单元外部表，它位于S3或HDFS中的文件夹之外。一天一次，文件夹会被一组新文件完全刷新，我无法阻止其他人访问该表。这将是非常罕见的，因为更新时间是在非工作时间，但它可以发生 有没有办法在不中断的情况下处理此更新？我可以想到一个交替使用两个S3（或HDFS）位置的解决方案，并在每次使用交替的S3位置运行“createexternaltable”命令，但我不确定是否有一个优雅的解决方案 提前谢谢 无需解决方法或处理，因为hive通过锁自动处理它。对于正在读取的非分区表，将获取S（共

我正试图找到一种情况，在哪里 一类用户可以上载随后不公开的文件 另一类用户可以上载公开可用的文件 我想我需要使用两个IAM用户： 第一个只有putObject权限，我将密钥烘焙到javascript中。（我在这里使用AWS SDKputObject，并烘焙第一个密钥） 另一个是我将密钥保存在服务器上，并为上传到正确类别的已登录用户提供签名。（我最终使用了一个POST命令来处理多部分表单数据，因为除了在第二个密钥中烘焙之外，我不知道如何使用SDK，这会很糟糕，因为可以上传和下载文件） 但我

我使用ng file upload将JPG文件上传到我的S3存储桶 file.upload = Upload.upload({ url: "https://<my-bucket-name>.s3.amazonaws.com/", method: "POST", data: { key: "custom-filename.jpg", AWSAccessKeyId: "<AWSAccessKeyId>",

我没有任何关于服务器托管性能和速度的经验，所以我想问这个问题 我的情况是，我想托管一个~1MB的数据文件，需要客户端偶尔下载（每2-3天下载一次）。当然，我想尽量降低成本，只要它不会对用户体验造成太大的伤害。我有数据表明我在全球拥有客户 我想问一下，从世界其他地方下载如此大小的文件所需的时间大概是多少（数据托管在美国）。例如，有人知道从日本等地下载1MB文件需要多长时间吗 如果人们想知道的话，我个人认为如果在世界上大部分地区下载10秒以下是可以的。 < P >当你不知道某事有多好的时候，首先要做

我们正在用AEM 6.0配置AmazonS3 对于早期版本的AEM，有一种方法可以配置数据存储类。-> 但是在6.0文档中没有提到S3DataStore类的指定位置 想知道在6.0中如何处理要使用的S3数据存储类吗？您需要查看AEM 6.0文档，因为问题中的链接是针对5.6的 存储配置 请参阅标题为“升级到AmazonS3连接器的1.2版”的部分，因为它包含提取和配置S3连接器的详细步骤 所有配置都位于crx quickstart/install文件夹下，而不是XML文件的旧方式。现在在6.

AWS Route 53/S3静态网站 我有一个域/路由53托管区域，其中包含多个a记录。其中一条A记录在尝试解析时已开始生成错误“Failure:DNS resolution failed:Rcode NXDomain（3）” user.samtec-atg.com 这是一个托管在S3上的静态网站。S3链接可以工作，但使用别名或CNAME为此链接配置记录集会产生错误“Failure:DNS resolution failed:Rcode NXDomain（3）” 同样，我有几个S3网站具有相

在使用S3API创建bucket时，我得到 具有指定设置代码的容器存储位置不可用（服务：Amazon S3；状态代码：400；错误代码：InvalidLocationConstraint；请求ID:f377cc84-2e76-490b-8161-4407a4b8d9d7），S3扩展请求ID:null错误 但是，我可以使用Softlayer上的服务门户创建一个bucket。通过编程，我可以获取最新的存储桶列表，甚至可以将其删除，但创建时会抛出上述错误 最近的一次更新引入了关于bucket创建的意外

我试图使用动词播放音频文件，但Twilio发出POST请求来检索它，而不是GET，S3不接受它 文件是 这是Twilio控制台上的请求和响应 你有什么想法可以让它工作吗？谢谢 我的错误是，问题出在会议waitUrl上，我通过指定waitMethod解决了这个问题。我认为它不应该通过POST来获取音频文件。你能把你的一些代码粘贴到你的请求和TwiMLlol中吗？是的，你是对的。。这是会议waitUrl，我用waitUrl方法修复了它。无论如何谢谢你

我下面的图像裁剪和上传。 我使用aws s3存储图像。根据文档，一切正常。我上传了图片，它保存到s3，然后我裁剪它并提交。我看到在s3 bucket中没有任何更新，图片仍然没有裁剪。 我花了很多天寻找解决方案，但没有一个能完全解决这个问题。 与railscast doc相比，我对代码做了一些改动 #crop.html.erb <br><br> <% content_for (:head) do %> <%= stylesheet_link_tag

我正在测试was的图像识别。到目前为止还不错。我遇到的问题是在CLI中对面进行索引。我可以一次索引一个，但是，我想告诉AWS索引一个桶中的所有面。要在我称之为的时候为一个面建立索引，请执行以下操作： aws rekognition index-faces --image "S3Object={Bucket=bname,Name=123.jpg}" --collection-id "myCollection" --detection-attributes "ALL" --external-imag

我有一个用Asp.NETCore2.0构建的网站。该网站获得了我的ASW S3存储桶中的文件列表，并将它们显示为经过身份验证的用户的链接。当我在本地运行该网站时，我没有任何问题，并且能够访问S3以生成预签名URL。当我将web应用程序部署到LightSail ubuntu时，我收到一条非常有用的错误消息：AmazonS3Exception:拒绝访问 起初我以为是一个地区问题。我将S3存储桶更改为使用与Lightsail ubuntu实例（East#2）相同的区域。然后我认为这是我的CORS问题，

我正在检查是否有更好的方法在Google BigQuery上运行查询并将结果导出到AWS S3。读了一些关于它的文章后，我发现有一种方法可以遵循以下步骤： 将查询结果导出到外部表 将创建的表移动到Google云存储 将文件从Google云存储移动到AWS S3 但我的问题是，有没有一种方法可以避免外部表的创建，而只是将查询结果移动到GCS？有没有其他聪明/正确的方法来做同样的事情 感谢您的帮助。在BigQuery中，查询结果的导出还不受支持-所以对于您来说，只有一种方法可以首先具体化结果（您

在我的EC2系统上，是否可以将S3存储桶作为网络驱动器装载到windows实例上。任何人都有任何想法。是的，但这是不可取的 AmazonS3是一个对象存储系统，而不是一个文件系统。使用AmazonS3的正确方法是使用S3API（或使用使用S3API的工具，如）放置/获取文件 如果必须安装AmazonS3，可以使用第三方工具，如。但是，我建议您在生产环境中使用解决方案之前先对其进行测试。1）安装WinFsp 2） 下载RCONE 3） 例如，在这里提取C:\Program Files\rclone

我正在尝试将一些文件的列表从S3存储桶复制到本地或hdfs。我的存储桶有220000多个对象，我只想将以abc2018-开头的文件复制到本地系统。abc2018-中的文件列表超过20k。 我刚刚获取了一个示例文件，并尝试使用以下命令复制它，结果成功： s3cmd获取“s3://bucketname/abc2018-01-02.txt”~/ 如果我想用abc2018将所有文件复制到主文件夹，我没有选择。 我是否需要编写脚本，或者可以使用s3cmd本身实现它？您可以尝试使用AWC Cli：

在过渡期间，由于ListBucket和HeadObject调用，我们的S3成本大幅上升。我们正试图找出如何调试突然增加的S3成本。我们做了一些不应该影响它的改变，但主要的改变似乎是 HeadObject调用增加10-20倍 ListBucket调用突然出现 我附上了一张图表，显示了2018年4月10日和2018年4月14日之间的跳跃。在这两个日期之间，我们做了以下更改 从（debian 8）S3FS v1.61版（2012年超级旧版，甚至不在Github中）更改为v1.84版（最新版本）

我有一个服务，部署在kubernetes集群中，fluentd集作为守护进程集。我需要使它接收到的日志多样化，以便它们最终进入不同的s3存储桶。 一个bucket用于所有日志，由kubernetes和我们的调试/错误处理代码生成，另一个bucket用于日志子集，由服务生成，由结构化记录器解析，并由json中的特定字段标识。想想看，一个bucket用于机器状态和错误，另一个bucket用于用户操作的“user\u id created resource image\u id at ts”描述 服务

我的气流应用程序正在AWS EC2实例中运行，该实例也具有IAM角色。目前，我正在使用硬编码访问和密钥创建连接。但是我希望我的应用程序从这个实例本身获取这个AWS凭据 如何实现这一点？我们有一个类似的设置，我们的气流实例在部署在EC2机器内的容器内运行。我们设置了在EC2机器实例概要文件上访问S3的策略。您不需要在EC2机器中获取凭据，因为该机器有一个实例配置文件，它应该具有您所需的所有权限。在气流方面，我们只使用aws_默认连接，在额外参数中，我们只设置默认区域，但没有任何凭据。 这里有一篇关

试图了解SQS 我最近启用了一个S3事件来将数据从S3同步到SQS。当我上传一个文件（一些纯文本数据）到S3时，我只看到SQS队列中的元数据（上传到S3的文件的元数据），而不是文件中的实际数据 下面是我从SQS cli得到的响应 { "Messages": [{ "Body": "{\"Records\":[{\"eventVersion\":\"2.1\",\"eventSource\":\"aws:s3\",\"awsRegion\":\"us-west-2\",\"eventTim

请检查AWS:：S3:：Bucket 对于WebsiteURL输出，请尝试： WebsiteURL: Value: !GetAtt S3Bucket.WebsiteURL Export: Name: S3Bucket 错误引用了值：！GetAtt S3Bucket，其中S3Bucket的格式不是。。您可能正在查找S3Bucket.WebsiteURL或S3Bucket.DomainName。

我有一个lambda函数，每次将文件写入S3存储桶时都会触发该函数。我的理解是，每次传入一个文件（这是一种潜在的情况，而不是发送一批文件），就会触发一个API调用，这意味着我要付费。我的问题是：我是否可以批处理多个文件，以便仅当（例如）我有一批10个文件时才会调用每个API调用？这是一种好的做法吗？我的处理时间不应该超过15分钟，所以使用lambda仍然可以 谢谢您可以使用SQS来解耦此场景，lambda触发点将是SQS，在那里您可以根据需要设置批量大小 1-一个解决方案是将您的文件分组到ra

我使用AWSAPI网关提供S3存储桶中的文件 我有一个资源GET/{file}映射到mybucket:/{file} iehttp://myapigateway.com/test1.txt正确返回mybucket:/test1.txt 现在，我想为具有目录路径的文件提供服务： http://myapigateway.com/dirA/test2.txt应返回文件mybucket:/dirA/test2.txt 我不能让它工作。问题是，当我将新的API网关资源设置为使用贪婪路径匹配作为“代理资源”

我正在尝试从Github操作将静态内容部署到AWS S3。我创建了AWS id和secret环境变量 把这个作为main.yml name: S3CI on: [push] jobs: build: runs-on: ubuntu-latest steps: - uses: actions/checkout@v1 - name: Configure AWS Credentials uses: aws-actions/configure-aws-cr

我想将当前日期添加到传入s3存储桶的每个文件名中 我当前的配置如下所示： input { s3 { access_key_id => "some_key" secret_access_key => "some_access_key" region => "some_region" bucket => "mybucket" interval => "10" sincedb_path => "/tmp/since

我正在terraform上工作，我面临着使用terraform将zip文件从s3下载到本地的问题。 使用zip文件创建lambda函数。谁能帮我一下吗。我相信你可以用这个。这允许您下载s3存储桶的内容。示例代码段如下所示： data "aws_s3_bucket_object" "secret_key" { bucket = "awesomecorp-secret-keys" key = "awesomeapp-secret-key" } resource "aws_in

我需要创建和优化地形的结构 在根路径上有我像模块一样导入的变量 /变量.tf variable "aws_profile" { default = "default" } variable "aws_region" { default = "us-east-1" } 之后有一个模块文件夹 /ec2_实例/main.tf module "global_vars" { source = "../" } provider "aws" { region = module.global_va

我可以将电子应用程序发布到AWS S3 bucket。但是如何使用electron autoUpdater从electron应用程序发布的S3 bucket获取更新？默认情况下，所有文件都位于以下键： ${config.folder | | appVersion}/${artifactName} 配置选项记录在 对于使用Squirrel（即使用electron forge）的用户，有一些无服务器的关键设置。例如DO空格，但这同样适用于任何与s3兼容的bucket存储 forge配置如下所示： 。

我正在使用CQRS模式实现一个微服务架构。我有一个使用API网关、Lambda和DynamoDB的工作实现，只有一个例外——事件源 事件源使应用程序向平台中的其他服务可以使用的事件流发布通知。此通知表示作为原始HTTP请求的一部分发生的事件。例如，如果用户使用一个完整的“将患者检查到医院”模型发布HTTP POST，那么Lambda会将其分解并按顺序发布多个事件 患者登记（包括患者Id、医院Id+就诊Id） 指定的房间（包括房间号+就诊id） 患者测试（包括测试+就诊id） 患者已出院（就诊id

我正在尝试将一个文件从Logstash上传到s3。因此，我想替换字段中的所有s3键 我在配置中使用的筛选器： filter { mutate { gsub => [ "log.file.path", "[=@&<>{}:,~#`%\;\$\+\?\\\^\[\]\|\s+]", "_" ] } } /tmp/test_gsub中显示gsub不工作的输出示例： "@timestamp

我们有一个共享的terraform状态文件，其中包含有关VPC id、子网id等的信息，这是存储在Amazon S3 bucket中的共享状态。我们使用状态信息来加速AWS中的单个集群。初始terraform文件不应被管理员以外的任何人覆盖，是否有办法在s3中锁定状态，因此不会对现有状态进行更改/修改？这是否可行？还是有办法！感谢Terraform本身无法控制对S3中状态快照的访问，但您可以使用IAM用户和角色来控制整个S3存储桶或S3存储桶中特定路径允许的操作 亚马逊指南中有更多信息 在您的案