谷歌云存储的怪异行为。Bucket被配置为网站 当我以“/”（）结尾访问子目录时，它会以预期的200 index.html响应 当我访问不带“/”（）的子目录时，它的响应是301永久移动到 在这两种情况下，有没有办法避免这种重定向并使用index.html进行响应？有相同的问题。你解决了吗？此外，如果能够学习如何从已删除的页面进行301重定向，那将是一件非常棒的事情。不，我还没有找到任何解决方案。我相信这是通过设计实现的，AWS S3也做了同样的事情。

我正在不同的云存储上做一些实验，我有文件（图像2MB大小）。我想测试上传和下载到不同云供应商的速度。 谷歌上的大多数例子都是使用html表单，这不是我想要的，但对我来说，文件是确定的，所以我需要运行代码几天，然后离开它，以查看每小时速度之间的差异 我已经设法在AmazonS3上测试了它，但是我找不到如何在Google上上传它，下面的代码是我想做的一个例子，我没有上传的功能 package main.java; //[START all] /* * Copyright (c) 2014

我已经将CORS设置为google云存储的bucket，没有访问控制Allow Origin头 如果我的设置错误，我希望你告诉我正确的方法 我的设置 $ cat cors-json-file.json [ { "origin": [ "*" ], "responseHeader": ["Origin", "Accept", "X-Requested-With", "Authorization", "Content-Type", "Content-L

我设计了一个网站，用户可以上传图像和视频。是否有可能将谷歌云存储与计算引擎结合使用 是的，可以相互使用任何google云组件。 这必须在创建实例时完成。您需要选择要与实例一起使用的其他google组件 在控制台中创建新实例时，您将看到更多选项 访问安全性---项目访问，然后选择要与实例一起使用的组件，并分配权限级别 创建实例时，gcloud compute也可以实现同样的功能 我希望这会有帮助 这里有很多变量。你的用户是如何上传文件的？您是否直接从浏览器、ssh等向他们提供ftp地址或http？

我们正在开发一个POC，希望将我们的web日志流式传输到google云存储。我们了解到google云存储上的对象是不可变的，不能从JavaAPI追加。但是，我们可以根据此链接使用gsutil进行流传输 现在我们想写每小时一次的文件。有没有办法像logrotate那样每小时更改一次文件名？gsutil不提供任何logrotate样式的对象命名功能 通过gsutil流传输，生成的云对象将根据gsutil cp命令中的目标对象命名。要实现轮换，生成流的作业可以每小时关闭流，选择新文件名，并发出新的流g

如何查看给定GCS存储桶当前配置的对象更改通知（OCN） 我想应该是这样的： gsutil通知列表gs://my bucket name 但随后我对gsutil帮助通知中的这一点感到惊讶： LIST LIST子命令提供通知配置的列表 属于给定的桶。每个通知的列表名称 config可与delete子命令一起用于删除该文件 特定通知配置 不会列出任何对象更改通知。仅云发布/订阅 将列出通知订阅配置 注意最后一段。您应该添加-o，如以下示例所示： gsutil notification list -o

我的文件存储在谷歌云存储上。谷歌为我提供了一个访问此文件的URL，但当我访问此URL时，文件会自动下载。我想知道，当我们访问文件URL时，是否可以删除或不允许此自动下载。；） 下载功能由客户端处理 调用存储在bucket中的对象的URL将返回存储在bucket主体中的对象，客户端将选择如何处理该数据 如果使用web浏览器，下载或不下载文件的选择通常由标题给出。一般来说，有一些将显示在浏览器本身上（根据，视频、图像、PDF和网页将直接显示在浏览器上），而另一些将直接下载 要修改存储在bucket中

由于我最近做了一些更改，我希望能够为存储桶中的文件重新生成缩略图，以便调用onFinalize，并重新生成缩略图和一些元数据 有没有一种方法可以通过命令行或代码实现这一点？云函数中没有内置的“重新触发所有文件”功能 正如Doug所评论的，一个选项是重写所有文件 或者，我将创建一个HTTPS触发函数，该函数调用与存储触发器相同的代码，然后调用该函数一次 比如： exports.generateThumbnail = functions.storage.object().onFinalize((ob

我有一个CloudDataProc Spark作业，它还使用Drvier端的cloud Strage API（从同一文件夹中选择要使用的特定文件） 以下是maven依赖项： <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artif

我可以使用谷歌云存储作为Delta Lake的存储层吗 在上找到。在0.5.0及以下的三角洲湖中不可能找到 有一个问题需要跟踪。请随意投票，以帮助确定优先顺序 就在谷歌发布以下消息的一天后： 我们宣布Delta Lake和Apache Iceberg（孵化）的表格格式项目现在可以在最新版本的Cloud Dataproc（1.5版预览版）中使用。您可以从今天开始使用Spark或Presto。Dataproc 1.3上也提供了Apache Hudi 在三角洲湖中不可能达到0.5.0（含0.5.0

使用Dataflow runner运行时，使用AfterPane.elementCountAtLeast触发器不起作用，但在本地运行时，该触发器可以正常工作。在数据流上运行时，它只生成一个窗格 目标是从云SQL中提取数据，转换并写入云存储。然而，有太多的数据需要保存在内存中，因此需要将其拆分并分块写入云存储。这就是我所希望的 完整的代码是： val pipe = sc.jdbcSelect(getReadOptions(connOptions, stmt)) .app

我已经安装了gcsfuse来支持需要posix类挂载点的应用程序 使用gsutil写入的现有数据不可见，但通过浏览器（云存储>存储浏览器）写入的数据不可见 据- 您可以使用Fuse适配器和gsutil等工具同时读取和写入Google云存储。例如，如果您使用Fuse适配器写入对象，则可以立即使用gsutil读取该对象，反之亦然，而无需重新装入存储桶或重新启动计算引擎实例 是否有人成功地与gcsfuse和gsutil合作 我觉得我错过了什么 谢谢 这可能是因为gsutil不创建目录占位符对象，默认情

我在url上有一个bucket，类似于： 然后我创建了一个名为“api required”的项目，这样我就可以在/api/credentials？project=api required生成凭据 然后，我使用/api/credentials/上的new\u credentials按钮生成了一个json服务帐户密钥。我将下载的json对象保存到一个文件中，并将环境变量GOOGLE\u APPLICATION\u CREDENTIALS指向该文件 现在，我正在用python构建一个应用程序。此代码：

我开发了一个软件，其中配置了目录来保存文件。我在Linux上运行它。这些目录由配置文件通知 我想使用计算引擎节点，因为我需要提高它的性能。因此，我想使用Google Storage将这些文件保存到存储库中 在[1]中显示了将bucket安装为文件系统。我试过了，但没有成功。我收到认证错误 有人能帮我成功地通过计算引擎节点访问我的bucket吗 [1] 致以最诚挚的问候，听起来您并没有使用服务帐户启动您的GCE实例 根据您链接的文档，您需要或运行gcloud auth login来配置访问云存储的

哪一种最适合存储用户上传的图像/个人资料图片和视频、Blobstore或云存储

我在google cloud coldline存储桶中有大约200 gb的数据。当我试图移除它时，它一直在准备 有什么方法可以卸下铲斗吗？如果您一直在尝试使用控制台，但它不起作用，请尝试使用gsutil工具。为此，您只需打开Google Cloud Shell（控制台右上角最左边的按钮）并键入如下命令： gsutil -m rm -r gs://[BUCKET_NAME] 这可能需要一段时间，但是使用-r标志，您将首先递归删除bucket的内容，然后删除bucket本身。-m标志执行并行删除，

我在Google Cloud SQL中有一些数据，我正在尝试使用Cloud SQL API（测试版）（导出）函数将其传输到Google云存储。为此，我在google compute engine上安装了jupyter笔记本，并在上面运行python代码（连接到cloud sql API并将日期导出到csv文件中的云存储） python代码不会抛出任何错误，API响应中也没有错误体。但是，API的响应显示“u'status”：u'PENDING'”，我看到以下错误（在Cloud SQL Dashb

我使用Deployment Manager并尝试在python文件中描述我的资源（Deployment Manager允许使用python或Jinja创建配置）。 其实 我使用json格式创建主题资源- return { 'name': topic, 'type': 'pubsub.v1.topic', 'properties': { 'topic': topic }, 'accessControl': { 'gcp

我正在使用一个签名URL（通过GCS PHP API生成）将文件上传到bucket。我发布签名的URL，它返回一个位置头，反过来，我做一个PUT来完成实际的上传。这个基本的上传过程运行良好。现在，我需要在文件中传递一些元数据（上传者名称、上传者电子邮件、注释等） 根据文档，我向PUT请求添加了头，其形式为'x-goog-meta-：'value'，它们应该成为元数据。但是，如果我不将它们添加到已签名的URL和POST请求中，我会得到一个虚假的CORS错误（请求的资源上不存在“Access Con

我是帐户和项目的所有者。 我使用google cloud sdk登录并尝试以下命令： gsutils -m setmeta -h "Cache-Control:public, max-age=3600" gs//bucket/**/*.* 某些文件出现以下错误： AccessDeniedException: 403 <owner@email.com> does not have storage.objects.update access to <filePath> A

我知道，一旦你在地面军事系统中公开了一个物体，你就可以从任何地方接触到它。是否有任何解决方法可以应用于困难或避免机器人持续访问it，从而导致巨额费用 如果没有，是否有办法限制a类/B类操作的数量，以避免被机器人持续瞄准 最好的 Kike根据官方文件： 当一个对象被公开共享时，任何知道 只要对象是公共的，对象URI就可以访问该对象 通过使用谷歌的全球基础设施和安全系统，抵御DDos攻击 但是，云存储后端不支持HTTP负载平衡的IP拒绝列表/允许列表。因此，您不能使用Google Cloud Arm

我从源代码安装了CKAN，并尝试激活云文件存储选项，但没有成功 我仔细检查了我的谷歌API控制台，并激活了可互操作的访问密钥（GOOG…），但没有结果。当我试图上传文件时，我总是遇到“无法上传文件”的问题。无法让它正常工作，所以只切换到更简单的S3。最近S3的降价也有帮助：）我可以建议在Oopps上发行一期并发布此商品的详细信息吗。。。对不起的。另一方面，如果为CKAN选择云存储系统有任何灵活性，那么底层的pythonboto项目（）对AWS的支持要强大得多，因此这应该考虑到您对CKAN云存储的

我尝试了gsutil cp-z“js，css，html”文件/name gs://bucket/name 唯一压缩的文件类型是js，但其他类型保持未压缩状态 cp-z命令可以上传和压缩多个文件类型吗 如有任何建议，将不胜感激 提前感谢。请删除文件扩展名列表中的额外空白： gsutil cp -z "js,css,html" file/name gs://bucket/name 我将更改gsutil代码，使其忽略空白，这样就不会那么混乱。我使用的是“gsutil-m cp-z html-r di

我刚刚在OS X上安装了gsutil，完全遵照Google的指示，在运行任何gsutil命令时，我看到以下格式的错误： Traceback (most recent call last): File "/Users//gsutil/gsutil", line 22, in <module> gsutil.RunMain() File "/Users//gsutil/gsutil.py", line 101, in RunMain sys.exit(gslib.

我在谷歌云存储中有一些数据集。我可以找到如何将更多数据附加到此数据集。但是如果我想合并数据集（Insert else update），我该怎么做呢 我有一个选择使用配置单元-插入覆盖。还有其他更好的选择吗 谷歌云存储API本身有什么选择吗 GCS将对象（文件）视为blob，对象中的文本没有内置GCS操作。不过，有一种更简单的方法可以像你现在这样做 提供用于地面军事系统的内置适配器。您可以在中找到示例代码。这可能会有所帮助： 谢谢你，阿什。你能帮我理解吗？你是说，我可以写一个Mapreduce程序

谷歌云存储API（XML或Json）只允许每秒上传1次 您最多可以每秒更新一次特定对象。以超过每秒一次的速度更新特定对象可能会导致503服务不可用错误。对不同对象的并发更新不受每秒更新一次的限制 那么，如何上传新的2000万Difference object谷歌存储 p/s：我的硬盘中有大约2000万个小文件，所以我想将所有文件上传到谷歌云存储。对不起，这句话有些误导。您可以每秒上载一次具有相同对象名称的特定对象。如果你有一个bucketfoo和一个objectbar，你应该每秒只上传一次新的

有没有人从gsutil看到这个错误，或者知道如何修复它？我在尝试运行任何gsutil命令时都会得到它，但下面是一个在我的google cloud项目中尝试在bucket上使用ls的示例 $ gsutil ls gs://BUCKET/FOLDER Traceback (most recent call last): File "/home/gmcinnes/bin/google-cloud-sdk/bin/bootstrapping/gsutil.py", line 68, in <

我正在使用ruby google api客户端v0.9.pre1，我最近从v0.7.1升级了它 我知道使用ruby库从Rails服务器上传文件的时间很慢。然而，我是一个文件一个文件上传，而不是批处理，我认为这增加了一些时间。当我升级到0.9.pre1时，我重构了batch_upload API，我的上传速度仍然非常慢 最近几次尝试的上传速度约为0.23 mb/s。上传2-3MB需要12-13秒。我的服务器托管在谷歌计算引擎上，该引擎可以访问我的谷歌存储桶 有人能告诉我为什么从谷歌托管服务器上传文

在我的VPS提供商将其服务器移动到一个新位置后，我得到了AccessDeniedException:403此服务在您所在地区不可用对于每个gsutil请求都会出现错误 新的服务器IP在gsutil不起作用的地方是51.254.184.21，以前是88.198.255.218，那个工作正常 我从bigquery中发现，类似的错误是由谷歌方面的IP地址映射错误引起的 我在这里这样问，因为那是谷歌的所在地。你的服务器在哪里？你还在看到这种行为吗？乔治：是的：（gsutil lsaccessdenied

找不到对此的任何引用。一般来说，这似乎是任何文件存储的基本功能。目前，在云控制台上无法对存储桶中的文件或文件夹进行排序 您始终可以通过编写排序例程来执行以下操作： // Imports the Google Cloud client library const {Storage} = require('@google-cloud/storage'); // Your Google Cloud Platform project ID const projectId = 'YOUR PROJECT

因此，我正在制作一个应用程序，其中包括来自谷歌云存储的流式音频（类似于收音机），并正在调查成本。现在看来太贵了 e、 假设我有10MB的音频文件，一个用户每天听20个文件，我有2000个活跃用户。这是400GBs或48美元/天。i、 e.～$1440/月，仅此而已 然后，我考虑在它前面放一个CDN，以最大限度地减少从存储器中直接读取的次数。起初我觉得这很有道理。CDN将缓存音频文件，而客户端大部分时间都将从缓存中获取文件。然而，当我查看Fastly的定价时（Fastly是谷歌的合作伙伴，看起来很

我们正计划使用谷歌云存储和签名URL，我们可以给用户 所以我们上传了一份文件 生成已签名的url（使用此处提到的详细信息：） 问题是谷歌（或）aws等。。它们为URL提供过期时间（比如：几分钟/几小时/几天等等），但我们希望URL在一定数量的请求后过期 比方说，我生成URL并发送给我的用户（约4小时过期），我们希望该URL在用户第二次访问URL后过期（当用户第三次访问URL时，它（谷歌）不应返回数据） 这可能吗？这目前不可能。您可以通过只允许服务帐户读取和创建对象来实现这一点。这样，链接一旦使用

我已经创建了一个可以在www.domain.com上使用的bucket，但是我想在domain.com上使用它 无法为domain.com创建指向c.storage.googleapis.com的CNAME记录，因此无法创建名为domain.com的bucket 我如何解决这个问题？我发现，通过在Google网站管理员工具中将网站www.domain.com的首选域设置为domain.com是可能的

在执行静默rsync时，记录任何错误或警告的正确方法是什么 这是我当前从crontab运行的内容： gsutil -m -q rsync -r -C /mount1/share/folder gs://my-bucket-1/folder/ > /mount2/share/folder/gsutil.log 由于日志文件总是完全空的，并且我正在上载TB的数据，我开始认为甚至错误和警告也可能被禁止。在意识到这与通常如何将stdout和/或stderr管道传输到文件有关后，答案实际上就在这个

谷歌计算引擎允许每日将项目的逐项账单导出到存储桶（.csv或.json）。在每日文件中，我可以看到N1-Highmem-8虚拟机使用的X秒数。当一个项目为不同的功能操作部署了许多相同的资源类型时，是否有一种机制来进一步确定成本，例如每个标记或实例组的成本 例如，数量：10 N1-Highmem-8 VM部署到项目中的一个区域。在每日账单中，它们仅显示为N1-Highmem-8的X秒 在功能上： 2个虚拟机可能全天候运行数据库 3个虚拟机可能每晚平均运行2-5小时的批量分析操作 5个虚拟机可能执

我想创建一个google bucket，如果它不存在的话。否则，我想重用bucket名称。怎么做？ 它相当于unix命令 mkdir-p dir_名称 我使用了该命令，但下次运行该命令时，我的shell脚本崩溃 gsutil mb-l ASIA gs://my_bucket_name_blah_blah 您可以先检查桶是否存在。我认为这样做是可行的： gsutil ls -b gs://my_bucket_name_blah_blah || gsutil mb -l ASIA gs://my_b

首先，我要感谢大家提前提供的帮助，因为这将有助于澄清遗漏的细节。我需要的是将多个文件压缩到一个gzip中，但是，指南仅显示了如何将文件列表压缩为单个gzip文件。再次感谢您的帮助，因为这项设置的资源和文档非常少。（如果有其他信息，请包括到来源的链接） 设置网格引擎后，我浏览了指南中的示例 我假设没有使用脚本将多个文件组合成一个gzip，对吗 Elasticluster网格引擎设置中是否有将多个文件压缩到1 gzip的解决方案 可以对网格引擎工具进行哪些更改以使其正常工作 编辑 我们考虑使用集群的

我们使用Google Genomics ReadGroupSets来存储我们的比对数据（BAM文件），它运行得令人惊讶，直到昨天 昨天（2016年8月29日），我们的导入作业（方法：readgroupsets.import）开始处于“运行”状态，但直到现在还没有达到“完成”或错误消息 还有其他人遇到同样的问题吗？ e、 g:作业运行1天，不显示错误消息 $ gcloud alpha genomics operations describe identifier done: false meta

意外地在错误的bucket上运行delete命令，对象版本控制被打开，但我真的不知道应该采取什么步骤来恢复文件，或者更重要的是，如何批量执行，因为我已经删除了数百个文件 谢谢你的帮助 要恢复数百个对象，您可以执行以下简单操作： gsutil cp -AR gs://my-bucket gs://my-bucket 这将使用仅复制元数据的方式将所有对象（包括已删除的对象）复制到实时生成中，即不需要复制实际字节。注意事项： 它将保留已删除的代，因此会占用额外的存储空间 如果您的bucket不为空，

我正在尝试从谷歌云存储服务React应用程序。我构建了React项目，并将build/目录的内容上传到谷歌云存储。我确保里面的每个文件都可以公开访问。但是，当我转到我的Google Cloud bucket链接时，我得到了一些关于权限错误的XML： <Error> <Code>AccessDenied</Code> <Message>Access denied.</Message> <Details> Anonymous u

@霍丹尼斯 继续上述问题 我想为多用户设置dataproc集群。由于Dataproc群集的计算引擎使用默认服务或自定义服务帐户凭据连接到存储桶，因此使用--properties core:fs.gs.auth.service.account.json.keyfile，它与提交作业的用户主体没有任何关系，或者我找不到控制它的选项，这使得dataproc集群不安全，并产生了一个问题，在多用户环境中，当使用的密钥文件与主体文件不一致时，它引入了另一个间接级别。 在我的例子中，我们使用gcloud d

使用Google数据流服务将来自Kafka的相同10k json记录批量加载到Google云存储中。 下面是分别使用ApacheBeam的AvroIO、ParquetIO和TextIO库生成的文件的分解 由于HDP（Hortonworks）和CDH（Cloudera）显示了类似的研究，我们假设与GCP的avro相比，拼花地板文件的数据足迹大小更小 然而，该10k记录的结果表明地面军事系统上的Avro尺寸较小。可以假设这是选择数据格式。除了这里提到的优点之外，还有哪些其他因素要考虑： 我们希望将地

我在尝试创建“传输”以将Google云中一个bucket的内容传输到同一所有者下的Google云中的另一个bucket时遇到此错误： 要完成此传输，您需要源存储桶的“storage.bucket.setIamPolicy”权限。请让bucket的管理员授予您所需的权限，然后重试 我不知道我该做什么。我尝试去“Bucket->Permissions->addmembers->myemail.com for Storage->…Admin”，但我一直得到“IAM策略更新失败” 请帮助我做些什么来让这

我对使用blob和GCS还不熟悉，需要一些帮助和对我所写内容的理智检查 我正在使用Nextjs构建一个web应用程序。 用户可以将图像拖到页面上。 我想将图像存储在GCS中。 由于图像只能在web应用程序中查看，因此我认为我希望将图像转换为一个blob并存储该blob。 为了随后显示图像，我只需在需要时从GCS下载blob 我的问题分为两部分： A.如何将blob上传到地面军事系统 B.如何从地面军事系统下载blob 到目前为止，我的努力很接近，但某处出了问题 blob似乎已上载和下载，但

我一直在寻找这个问题，但没有一个答案对我有帮助 在本教程之后，我创建了一个新的bucket（），它包含一个静态站点，包括index.html和error.html 我使用控制台将这些设置为基本url和未知文件的默认值 当我访问URL时，我会得到文件的XML列表；我应该看到index.html 味觉正确地报告 {"mainPageSuffix": "/index.html", "notFoundPage": "/error.ht

出于测试的目的，我想模拟云存储，因为它会降低测试速度 有谷歌云存储模拟器吗 谷歌目前还没有提供官方的模拟器 我目前正在使用project Minio（）模拟Google Storage在开发中的行为（Minio使用文件系统作为存储后端，并提供与S3 apiV2的兼容性，后者与Google Storage兼容）。Google有一个您可以使用的工具（大多数核心功能都已实现） 在测试类路径上需要com.google.cloud:googlecloudnio（：0.25.0-alpha当前）。然后，您可

我正在使用google云存储python API。我遇到了一个情况，我需要删除一个文件夹，其中可能有数百个文件使用API。有没有一种不进行递归和多次删除调用的有效方法 我的一个解决方案是列出bucket中具有给定路径前缀的所有blob对象，然后逐个删除它们 另一种解决方案是使用gsutil： $gsutil rm-R gs://bucket/path 试着这样做： bucket = storage.Client().bucket(bucket_name) blobs = bucket.list_

我是一个非技术人员，试图将谷歌云存储用于静态网站，同时也是一个纯粹的。。。存储（以及一些简单DNS服务的GCP） 是否有人知道GCP是否计划在近期内启用重命名和移动功能到GUI （尚未试用gCloud命令行工具，参考：）此功能现在可用，如右角下图所示： 更多详细信息，您可以通过链接找到以下Google官方文档： 这是关于移动对象的。如何移动文件夹？@ComputerScientist从技术上讲，GCP中没有真正的文件夹，只有一个虚拟文件夹概念来表示UI上带有公共前缀的一组对象。因此，从UI中，

我想在谷歌云存储中为我的bucket配置一个静态IP。。。如果没有VM实例，这是否可能，就像在Godaddy或其他替代方案上托管我的网站时一样 我们是在商业环境中工作的姐妹公司，在这种环境中，互联网流量应该被防火墙拒绝，与此同时，我们希望只为访问单个网站打开IP:80 恕我直言，没有将静态IP地址直接分配给云存储桶的选项。不过，为了满足您的需要，您可以在bucket前面创建一个静态IP，并为该负载平衡器分配一个静态IP。这也是推荐的方法之一

我正在研究Vault的Arquit体系结构，在网站上我找到了使用Concur的存储后端推荐，但我正在考虑使用Google云存储上的存储桶来存储机密。他们说使用Concur是必要的，在一个Vault群集上至少有7个Concur实例，其中5个仅用于Vault我知道Concur不仅仅是一个存储服务，但我不知道使用bucket是如何工作的，我能说实例的数量与bucket的数量相同才能有一个良好的可调度性吗？您只需要一个云存储bucket。事实上，您只能有一个桶： storage "gcs" { bu