有没有办法将Gzip文件从AmazonS3加载到Pentaho数据集成（Spoon）中 有一个“文本文件输入”具有支持Gzip的压缩属性，但该模块不能作为源连接到S3 有一个“S3CSV输入”模块，但没有压缩属性，因此它无法将gzip内容解压缩为表格形式 而且，没有办法将数据从S3保存到本地文件。下载的内容只能“跳转”到另一个步骤，但没有任何步骤可以从上一个步骤读取Gzip数据，与Gzip兼容的步骤都只能从文件中读取 所以，我可以从S3获取Gzip数据，但我不能将数据发送到任何可以使用它的地方

如何使AWS S3公用文件夹再次成为专用文件夹 我正在测试一些暂存数据，所以我在一个bucket中公开了整个文件夹。我想再次限制它的访问。那么，如何使文件夹再次成为私有文件夹呢？据我所知，管理控制台中的“公开”选项会递归地为目录中的每个对象添加公开授权。 您可以通过右键单击一个文件，然后单击“属性”来查看。然后，您需要单击“权限”，应该有一行： Grantee: Everyone [x] open/download [] view permissions [] edit permis

除了www.example.com.s3-region.amazonaws.com之外，在托管站点（或任何内容）时是否有其他方法可以使用另一个bucket名称？我想使用多个bucket，这样当我更新站点时，如果出现问题，我可以回滚一个版本，这样更新就是站点版本之间的原子切换。我一次只想为一个域使用一个bucket 例如 存储桶名称： www.example.com.bucket1 www.example.com.bucket2 程序： www.example.com当前指向->www.examp

我和s3 bucket一起工作。我需要将一个映像从amazon服务器复制到s3存储桶。知道我该怎么做吗？我看到了一些示例代码，但我不知道如何使用它 if (S3::copyObject($sourceBucket, $sourceFile, $destinationBucket, $destinationFile, S3::ACL_PRIVATE)) { echo "Copied file"; } else {

在S3模式下使用FineUploader，我们看到上传只是周期性地暂停。单击暂停并重新启动将允许上载完成。如果有帮助的话，我很乐意发布相关的实现片段，但它的库存量很大。我们正在上载带有扫描页面图像的大型PDF文件。 非常感谢您的客户端和S3或签名服务器之间肯定存在网络问题。在某些情况下，如果存在连接问题，则在浏览器超时请求之前，上载不会失败。默认浏览器超时值较大。暂停实际上会中止请求，而continue会重新创建请求，并从最后一个成功请求之后的块开始 这在问题跟踪程序中进行了讨论，我们最终决定不

我正试图根据S3中的LastModifiedDate获取文件集合 List <String> FileNames = new ArrayList<String>(); List FileNames=new ArrayList（）； ListObjectsRequest ListObjectsRequest=新建ListObjectsRequest（） .带BucketName（s3_bucket） .withPrefix（logs_dir） ObjectL

在过去，我能够在不同的出站通道适配器上应用建议链处理程序。我试图在intaws:s3出站通道适配器上执行相同的操作，但这是不允许的。此组件不允许此行为。基本上，我感兴趣的是找出适配器何时完成文件到S3的上传 <int-aws:s3-outbound-channel-adapter id="s3-outbound" channel="files" bucket="${s3.bucket}" multipart-upload-threshold="5192" remote-di

我想创建一个Python Lambda函数来获取上传的s3图像并创建它们的缩略图版本 我有权限问题，无法访问我的存储桶。我知道我需要创建一个桶策略。我不明白如何为执行缩略图过程的lambda请求制定有效的策略？听起来您想执行以下操作： 只要有东西上传到你的桶里，就点燃lambda 从存储桶中读取文件 将（缩略图）文件写回存储桶 您需要3种不同的权限才能执行此操作： S3服务需要权限才能调用lambda函数（这是在通过AWS lambda控制台添加S3事件源时为您完成的） lambda执行角色（在

我正在尝试启用位于s3目录中的CSV文件的基本SQL查询。普雷斯托似乎是一个自然的适合（文件是10s GB）。当我在Presto中完成设置时，我尝试使用配置单元连接器创建一个表。我不清楚我是否只需要配置单元元存储来在Presto中保存我的表配置，或者我是否必须首先在那里创建它们 该文档使您看起来可以使用Presto而不必配置配置单元，而是使用配置单元语法。准确吗？我的经验是AWS S3无法连接。Presto语法类似于Hive语法。对于大多数简单的查询，相同的语法在这两种查询中都起作用。然而，有一

我需要上传到AmazonS3，这个函数需要一个URL，它可以从中选择文件。我不想保存图像，因为对图像进行了一些操作，但我想将它们作为数据对象直接上传到S3。有没有办法伪造一个临时URL或类似的东西 request?.body = fileUrl as URL! request?.key = key request?.bucket = self.bucket

下午好，如果这个简单的问题/答案出现在DroneDeploy GitBooks中，我很抱歉，但我正处于为您的平台开发地理处理应用程序的初始阶段，我想知道，从DroneDeploy自动将处理过的orthomosaic或DSM导出到Amazon S3存储桶的推荐方法是什么？在Exporter示例中，默认行为似乎是生成一个链接，然后通过定义的电子邮件地址发送该链接-但是有没有直接发送到Amazon的方法？这是文档中概述的“webhook”功能吗 webhook：{ url:“”//在导出文档完成时接收

我是AWS glue的新手，我试着看看是否可以在S3中创建我们的数据湖。为此，我创建了一个ETL作业，在RDS中的小MySQL表上运行。作业完成后，在S3中创建了多个CSV文件，其中大多数是空的 我想了解： 为什么在多个文件中对数据进行分区 我可以在多个表上运行作业吗？在AWS控制台中，它只允许选择一个表作为源数据存储。这是否意味着我需要为每个表创建一个作业 这是由于数据密钥的分布造成的。据我所知，您只能自己手动平衡密钥的负载 可能重复： 你好，Kishore谢谢你回答这个问题。你能举例说明第1

我试图从S3存储桶中检索一些文件，但是这些文件被设置为私有文件。我目前正在使用ListObjects检索我的bucket中的所有文件，但在结果集中，它不包括签名的url，并且由于文件是私有的，我无法在我的网站上显示它 我正在使用mongoDB Stitch连接到我的S3存储桶 这里是我检索bucket中所有文件的代码 const aws = this.client.getServiceClient(AwsServiceClient.factory, "TESTAPP"); const args

使用Postman脚本，如何从AWS S3 bucket下载文件这是不可能的， 因为在浏览器下载中，它不仅仅是一个直接的1块 所以它正在创建一个同步作业，一个接一个地加载块，这样的系统不受postman支持

我的测角服务人员在本地工作得非常出色，它要求我按预期刷新屏幕。但是，如果我将我的应用程序部署到S3，它将通过Route53和CloudFront提供服务，以便它可以用作HTTPS站点。它不起作用 我所有的CloudFront默认设置我唯一添加的是无效，将我的index.html和我的服务人员添加到该列表中 CDN： 无效：

我正在努力发展一种技巧，alexa会一直讲到停下来。假设我有一系列的项目，我想让alexa循环并发言 到目前为止，我只需要等待一个reprompt/end会话，在该会话中，我调用Amazon.nextint转到列表中的下一项，但这需要用户不断地说next..next 关于如何实现这一点，有什么想法/建议吗？我使用的是自托管服务。首先，尽可能多地发言，并从数组中连接项目文本。 您可以使用8000个字符 outputSpeech响应不能超过8000个字符（） 因此，根据项目的文本大小，使用这些项目进

我有命令在s3文件夹之间移动文件。我从上下文变量中获取bucket名称。 将命令放置在数组行中 “aws s3 mv s3://“+context.bucket+”/express/test1/abc/xyz.dat s3://“+context.bucket+”/express/test1/abc/archive/archive_xyz.dat” 该命令从上下文变量获取bucket名称，但不显示file或directory error=2。 我认为这是由于开头和结尾的（“）造成的。 有没有办法

默认情况下，当我们将齐柏林飞艇笔记本存储在S3中时，它将存储为notebook id文件夹和其中的.json文件- s3://bucket\u名称/用户名/笔记本id/ 我们想将齐柏林飞艇笔记本存储在hasharma/test_003文件夹中。这样我们就可以根据我们的项目对齐柏林飞艇笔记本进行分类。仅凭笔记本id很难识别哪个笔记本包含哪些内容

我在后台使用serverless框架，在serverless.yml文件中，我有一些命令来加密我的S3存储桶，如下所示： resources: Resources: S3DocumentationBucket: Type: "AWS::S3::Bucket" Properties: AccessControl: PublicRead Buck

我是robocopy的超级粉丝，广泛使用它在需要更新的各种服务器之间进行复制 最近，我一直在存档到一个AmazonS3帐户，我使用JungleDisk通过映射驱动器访问该帐户。然后我将我的文件从本地PC自动复制到S3 有时我在robocopy中收到一条非常奇怪的“函数不正确”错误消息，文件无法复制。我试过在文件浏览器窗口之间使用xcopy和直接复制粘贴。在每种情况下，我都会得到一些“不正确的函数”或“非法的MS-DOS函数”的变体，文件将永远不会复制 我删除了目标，但没有用 有什么想法吗？不知道

我创建了一个EBS卷，将其连接并装载到EC2实例上。在挂载目录中创建了几个示例文本文件，并从AWS控制台拍摄了快照 问题是，当我使用此快照创建新的EBS卷并装载此新卷时，我看不到存储的内容（在快照中） 问题是什么？我的数据没有进入快照吗？或者新创建的卷是否存在任何问题 提前感谢。这应该正常工作。唯一的解释可能是命令执行过程中的错误，例如，您在新创建的卷上创建了一个文件系统，而不是简单地挂载它（在我身上发生过一次）。发现了问题。不是系统管理员，否则我应该知道这件事。以下命令正在刷新EBS卷中的数据

我现在正在考虑转移到s3，但我仍然担心我的国家未来的限制政策，所以我想知道我是否可以使用DNS服务或其他方式来解决这个问题。DNS是否能帮助解决这个问题 一般来说，如果有一个实体完全控制其网络边界，那么很难绕过这种限制。它可以是任何东西——从政府出于政治原因屏蔽反对派网站到公司出于安全原因屏蔽访问不安全的网络邮件提供商 如果一个实体想要阻止一个特定的服务提供商，那么简单地阻止属于该提供商的所有IP地址块就更容易、更有效、更高效。DNS处于更高级别，无法解决此问题 帮助的是一个未阻塞的代理（中继）

是否可以通过其API获取EC2健康消息？健康状态显示在此处：这些仪表板提供RSS提要，例如用于和。 所有这些都在每个服务url的右侧有RSS图标。这可以通过编程的方式用来做任何你想做的事情？美国焊接学会最近推出了一款无需借助RSS解析就能获取此类信息的软件。它可以与之配对，以便在不诉诸轮询的情况下向您发送通知。它是否会存档每个条目，以便如果我想在特定的过去日期检查服务运行状况，我只需浏览输出并查找其周围的事件？这看起来很明显，但我从未使用过RSS提要，而且我检查的区域（cloudwach，eu

我被要求将当前实例从美国东部（弗吉尼亚）复制到欧盟西部（爱尔兰） 从网上看，似乎最好的方法是创建一个AMI（这已经完成） 那么现在我如何将这个WindowsAMI转移到欧盟西部？如何将其放入S3存储桶中，然后将其打开？Windows AMIs是否可以这样做 非常感谢详细的解释 我假设您正在使用一个ebs支持的实例 坏消息是：据我所知，没有简单的方法可以做到这一点 好消息是：这是可以做到的。是解决您的问题的详细演练。您将需要安装 如果您的实例没有ebs，您应该能够直接使用命令行工具ec2 migr

S3扩展是否存在已知的限制？有人曾经有过如此多的同时读写操作，以至于一个bucket开始返回错误吗？我对写比读更感兴趣，因为S3很可能针对读进行了优化。Eric的评论在概念层面上对其进行了总结，如常见问题解答中所述： AmazonS3从一开始就被设计用于处理任何应用程序的流量 互联网应用。[…]亚马逊S3的巨大规模使我们能够 均匀分布负载，使单个应用程序不受 交通堵塞 当然，您仍然需要考虑可能的问题，并针对重复的减速错误调整[您的]应用程序（请参阅）： 与任何分布式系统一样，S3具有保护机制 检

我试图弄清楚如何直接从EMR映射任务写入s3存储桶。我想运行一个python流作业，它将从internet获取一些数据并将其保存到s3，而无需返回以减少作业。有人能帮我吗？为什么不将MR作业的输出设置为s3目录，并告诉它没有减速机： ./elastic-mapreduce ..... --output s3n://bucket/outputfiles --reducer NONE 这应该是你想要的 然后您的脚本可以执行以下操作（对不起，ruby）： STDIN.each do |url|

我们使用amazon s3存储和cloudfront服务媒体，上传和服务/流媒体（图片、视频）。该网站使用率很低，但亚马逊每月的成本为3000美元，从报告中可以看出，90%的成本来自S3服务 听说如果不正确编码，云计算可能会很昂贵。现在我的问题是： 正确的方法是什么？我应该把更多的注意力放在哪里，放在上传文件的方式上，还是放在服务文件的方式上 是否有其他人必须处理意外的高成本，如果是，原因是什么？我们有几乎相似的模型。我们从S3和cloudfront流式传输（rtmp）。我们确实有1000个文件

我有一个S3亚马逊帐户，目前我上传到我网站上的所有视频都在那里 我添加了一些功能，用户可以选择在YouTube上分享他们的视频。为此，我使用的YouTube API不支持视频URL。我想知道我们是否可以，以某种方式，提供一个直接的s3链接，以便视频上传到YouTube 以下是流程：- 所选视频->从encoding.com转换为mp4格式->视频上传至s3亚马逊 注意：我试过将我的视频从s3下载到tmp文件夹，然后上传，这很好，但因为我们使用的是负载平衡服务器，所以无法使用它 需要尽快解决。 谢

据 版本控制允许您保存、检索和恢复AmazonS3存储桶中每个对象的每个版本。一旦为bucket启用版本控制，AmazonS3将在对现有对象执行PUT、POST、COPY或DELETE操作时保留这些对象 如果我将内容从区域x中的一个bucket复制到区域y中的另一个bucket，那么版本历史记录将被保留，这一假设是否正确 如果版本控制不是通过复制请求来保持的，我如何才能将版本控制转移到新的bucket中？我想使用boto，但会接受任何语言 谢谢不幸的是：没有 版本历史记录保存在已启用版本控制的b

各位， 我读的东西可能不一样，但我一直有这样一种印象：美国东部的物体和桶不会自动复制到美国西部。。。然而，在阅读文档时，我看到了两个相互矛盾的陈述： 发件人： 存储在区域中的对象永远不会离开该区域，除非进行传输 把它们拿出来。例如，存储在欧盟（爱尔兰）地区的对象 离开欧盟 然而，在： s3.amazonaws.com端点-AmazonS3自动将请求路由到 在弗吉尼亚州北部或太平洋西北部使用网络的设施 地图 存储在美国标准中的对象跨太平洋西北部和北弗吉尼亚州的多个数据中心复制，如果您使用不特定于区

我对带有imageresizer的s3reader插件有问题 我正在使用图像大小调整器调整亚马逊图像的大小 我曾尝试直接打开图像url，它在那里工作正常，但在我对图像应用大小调整时不起作用（例如，工作正常，但这不起作用）。同样的代码和配置在本地工作对我来说很好。换句话说，当我使用localhost/s3/refpstaging/property/16594/16594_1.jpeg？width=100 我已经在使用许可证二进制文件了。还确认文件夹对IIS具有完全权限 我正在使用MVC，并且已经正

我是新来的流星。尝试调用文件夹server/中服务器端的服务器方法时出错。我不知道我错过了什么。如果有人能帮忙，那就太好了。谢谢 错误： lib/node_modules/fibers/future.js:173 throw(ex); ^ Error: Method not found [404] at _.extend.apply (packages/livedata/lived

我们正在开发一款移动应用程序，使用Parse作为我们的BAAS解决方案，但使用Amazon S3存储我们的媒体文件。我们的所有用户都将媒体文件上传到我们应用程序存储桶中各自的文件夹中。当用户上传媒体文件时，我们在Parse中更新他们的记录，以便它知道在哪里下载文件。这是最简单的部分 我花了相当多的时间研究S3存储桶的不同策略，并试图掌握确保上传内容安全的正确方法。如果您使用DynamoDB或SimpleDB完成所有工作，那么就很容易了，因为您基本上是在使用IAM帐户等来调整ACL。如果你使用亚马

我在装载S3存储桶时设置了这个选项“-o use_cache=/tmp”。它在tmp中尝试使用的空间是否有限制？有没有一种方法可以限制该项目，或者在X时间段后使其过期 本地缓存的增长显然是无限的，但它确实是一个“缓存”（与可能被称为“工作目录”的内容相反），因为它可以在任何时候被安全地清除，例如使用一个cron作业，该作业在一定时间后删除文件，并结合find和xargs和rm （xargs并非绝对必要，但它避免了在一次调用中发现太多文件要删除时可能出现的问题。）您可以使用（不支持）。设置一个cr

在设置s3cmd和S3存储桶之后，当我尝试此命令时 sudo s3cmd sync --recursive --preserve /srv s3://MyS3Bucket 我得到这个错误： ERROR: S3 error: 400 (InvalidRequest): The authorization mechanism you have provided is not supported. Please use AWS4-HMAC-SHA256. 我的s3cmd版本是1.0.0，在遵循Ub

我的AWS S3 bucket和vsftpd有一些问题 我已经创建了一个vsftpd实例并挂载了AWS S3 bucket。我的问题是，每次我上传一个文件并且连接中断时，它都会在S3存储桶上追加现有文件，而不是在FTP客户端重试时覆盖它。我应该在S3 bucket策略上设置什么来覆盖这种行为而不是追加？没有会影响这种行为的Amazon S3配置设置——这完全是您使用的软件的结果 还值得一提的是，FTP是一个相当古老的协议，现在有更好的替代方案，例如通过浏览器或类似Dropbox的共享文件夹上传

是否有办法在s3服务器上运行imagemagick或其他工具来调整图像大小。 我知道的方法是首先在我的机器上下载所有图像文件，然后转换这些文件并在s3服务器上重新加载它们。问题是文件数量超过10000个。我不想下载本地机器上的所有文件。 是否有一种方法可以在s3服务器上转换它 看看它： 它是一个库，为s3上传提供了一些功能，包括按需调整大小。s3不能单独对数据进行任意计算（如调整大小） 我建议查看AWS Lambda（可在AWS控制台中获得），这将允许您设置一个小程序（他们称之为Lambda），

我希望能够以多种方式限制对S3存储桶中文件的访问。这是因为存储的文件可以以不同的方式访问。我们这样做是因为我们有TBs的文件，所以我们不想复制bucket 一种访问方法是通过使用S3 bucket作为源的标记化CDN交付。为了可以提取文件，我设置了文件的权限，允许每个人下载。使用bucket策略，我可以限制可以获取bucket中文件的IP地址。因此，我将它们限制在CDN IP块中，那些IP地址之外的任何人都无法获取该文件 另一种是访问方法，即使用我们的存储系统直接下载，该存储系统生成S3时间到期

在尝试获取和存储Laravel中s3中的内容时，我似乎遇到了很多错误 这是我的控制器 公共函数存储（请求$Request） { $s3=存储：：磁盘（'s3'）； $s3->get（'index.html'）； } SignatureInterface.php第2行中的FatalErrorException:已达到最大函数嵌套级别“100”，正在中止 你可以试着扩大限制。在/etc/php5/mods available/xdebug.ini下打开conf文件，添加以下xdebug.max\u

是否可以使用SDK（Preffer.NET）将空文件夹上传到s3？ 据我所知，我不能使用AWS控制台 有人知道我如何使用SDK来解决上传一个空文件夹的问题吗？因为我需要创建一个应用程序，让用户可以上传整个文件夹，包括空文件夹 非常感谢&将视为一种解决方法，AWS建议通过创建0字节文件并在创建文件夹中的第一个对象后将其删除来模拟空文件夹。 您可以在此处找到更多详细信息：

我正在使用cffile action=“upload”将名称中包含空格的文件上载到Amazon S3。文件名为burger+beans n beetroot.jpg。 如您所见，名称包含空格和加号 当我读取目录时，为了列出内容，ColdFusion在查询中返回的文件名是：burger+beans+n+beetroot.jpg。但是，当使用AmazonS3浏览器查看该文件时，它被正确地列为：burger+beans n beetroot.jpg。因此，ColdFusion似乎正在用+符号替换空格

我已经将存储在S3中的数据以这样的配置单元格式进行了分区 bucket/year=2017/month=3/date=1/filename.json bucket/year=2017/month=3/date=2/filename1.json bucket/year=2017/month=3/date=3/filename2.json 每个分区大约有1000000条记录。为此，我在雅典娜中创建了表和分区 现在运行来自雅典娜的查询 select count(*) from mts_data_1

我需要将一个压缩文件从一个AWS S3文件夹复制到另一个文件夹，并希望将其作为计划的AWS粘合作业。我找不到这样一个简单任务的例子。如果你知道答案，请帮忙。答案可能在AWS Lambda或其他AWS工具中 多谢各位 我想你可以用胶水来做，但是使用CLI不是更容易吗 您可以执行以下操作： aws s3 sync s3://bucket\u 1 s3://bucket\u 2您可以使用胶水来完成此操作，但它不是适合此工作的工具 更简单的方法是由S3创建的对象事件触发Lambda作业。甚至有一个关于A

我创建了AWSS3 bucket，并在Jupyter笔记本上尝试了示例kmeans示例。 作为帐户所有者，我有读/写权限，但无法写入日志，出现以下错误： ClientError: An error occurred (AccessDenied) when calling the PutObject operation: Access Denied 这是kmeans示例代码 from sagemaker import get_execution_role role = get_execut

我有以下代码作为S3 bucket的网关。其目的是下载位于S3上的文件，但不公开S3项链接。 所有这些都可以正常工作，但在大约50次下载之后，我们一直在等待来自池的连接超时。 我发现这可能是由于没有关闭s3Object.getObjectContent（）导致的，但正如您所看到的，我使用的是“try with resources”，它确保调用close（）。我不仅在流上这样做，而且在对象本身上也这样做。这是最后的手段，因为它不会改变任何事情。事实上，S3Object.close（）做了同样的事情

有一段时间，我只是将我网站的内容存储在一个s3存储桶中，可以通过完整的url访问所有页面。我想通过添加SSL使我的网站更加安全，所以我创建了一个CloudFront发行版来指向我的s3 bucket 站点将正常加载，但如果用户尝试刷新页面或尝试使用完整url（即www.example.com/home）访问页面，他们将收到一个拒绝访问的页面。S3不理解在重新加载并在新选项卡中打开时打开的路由。您需要告诉S3是用于此路由的index.html。每当新路由打开时，它都会给出403[access de

我正在尝试使用gsutil将一些文件从Kafka s3接收器传输到Google云存储桶。因为Kafka Connect to S3执行多部分上传，所以上传文件的Etag（即使它们很小）不是MD5哈希，这会导致gsutil抛出完整性检查警告。我想知道在这种情况下是否有办法处理完整性检查，或者我应该忽略警告 我尝试了cp和rsync命令，它们都有相同的行为 gsutil-mcp-rs3://somebucket/folder gs://somebucket/folder gsutil-mrsync-

我在S3中有一堆文件，它们组成了一个大于内存的数据帧 目前，我使用Dask将文件读取到数据帧中，使用较小的数据集执行内部联接（每次调用此函数时都会发生变化，而maging_df基本上是完整的数据集&不会发生变化），调用compute获得更小的数据帧，然后执行一些处理。例如： huge_df = ddf.read_csv("s3://folder/**/*.part") merged_df = huge_df.join(small_df, how='inner', ...) merged_df

我已经从KSQL查询和inut流创建了一个表，该表由Kafka主题支持。 本主题是使用Kafka Connect连接到s3。 在这个主题中，我有大约1kmsgs/秒。 该主题有6个分区和3个副本 我有一个奇怪的输出比。水槽似乎很奇怪。 这是我的监控： 您可以看到第一个图表显示输入比B/s，第二个输出比和第三个使用Burrow计算的滞后 这是我的s3接收器属性文件： { "name": "sink-feature-static", "config&

我对SNS使用下面的访问策略配置，它从S3接收对象创建通知，然后这个SNS向SQS散开消息 "Statement": [ { "Sid": "Allow-UDD-accounts-to-subscribe-to-topic", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::4641