我通过pubsub接收消息。每条消息都应该作为粗略数据存储在GCS中自己的文件中，对数据执行一些处理，然后将其保存到大查询中——数据中有文件名 收到数据后，应立即在BQ中查看数据 示例： data published to pubsub : {a:1, b:2} data saved to GCS file UUID: A1F432 data processing : {a:1, b:2} -> {a:11, b: 22} ->

将文件上载到谷歌云存储时，会有一个自定义数据字段元数据 相当短： var metadata = { contentType: 'application/x-font-ttf', metadata: { my: 'custom', properties: 'go here' } }; file.setMetadata(metadata, function(err, apiResponse) {}); GCS允许元数据对象的最大容量是多少？我是希望存储tar和zip文

我目前正在尝试以互操作模式使用云存储。但是，第一次上传文件的请求失败，签名不匹配 做了一个小测试，因为第一个请求都失败了： import boto from boto.s3.connection import S3Connection connection = S3Connection( aws_access_key_id='GOOGY', aws_secret_access_key='SECRET', host='storage.googleapis.com' ) b

我看到了验证和从谷歌云读取存储桶/对象的选项。 我如何将这些对象直接复制到我的local/on prem，在那里可以运行下面的程序？我看到了一些方法，如downloadTo，copyTo for blob，但如果我没有错的话，看起来是在谷歌云内部进行复制/下载。downloadTo路径不允许我使用该路径配置服务器 （注意-我知道gsutil命令，但我希望它能以编程方式下载文件，如果可能的话） 下载到执行代码的位置 import com.google.cloud.storage.*; import

Google Cloud CDN建议对静态对象使用版本化URL 如果我启用了Google存储版本控制，那么在更新存储上的对象之后，云CDN能否获得新的版本而不是缓存版本（在其正常过期时间之前）？根据定义，缓存系统（在CDN或其他地方）会阻止任何额外的通信，直到缓存过期 顺便说一下，缓存系统在缓存过期之前不会询问后端。此外，云存储没有意识到另一层会捕获其数据并将其存储一段时间 根据设计，版本控制不会改变CDN缓存管理中的任何内容。根据定义，缓存系统（在CDN或其他地方）会阻止任何额外的通信，直到缓

我想在谷歌云存储中找到大小小于10k的文件 gsutil ls -l gs://my-bucket/ 此gsutil命令显示大小不同的文件列表。 是否有按文件大小筛选列表的选项 如果没有提供默认选项，我将为它编写一个脚本。gsutil ls不支持按大小筛选。您可以使用这样的脚本： gsutil ls -l gs://your-bucket | awk '/gs:\/\// {if ($1 > 10000) {print $NF}}' gsutil ls不支持按大小筛选。您可以使用这样的

我正在尝试使用特使代理将所有hadoop gcs连接器请求代理到google存储/auth服务器。根据日志，我可以看到GCS连接器使用https。所以，当我使用特使代理时，它不起作用，因为在连接呼叫握手中存在一些问题。有没有办法禁用客户端SSL？谢谢。我不认为只禁用客户端SSL是一种选择，因为GCS会反过来使您的请求失败。特使代理似乎支持SSL直通。我只希望客户端对特使的调用是非SSL的。对存储的访问可以是SSL调用。您能给我指一下演示如何配置SSL直通的文档吗。对我来说，在多次尝试后，它不起作

字符串projName=settings.getProject（）； 字符串bucketName=settings.getBucket（） 输出： 创建bucket，projName:round-center-551，bucketName:1904mybucketfoo tryCreateBucket中的异常： com.google.api.client.googleapis.json.googlejson响应异常： 403禁止 { “代码”：403， “错误”：[{ “域”：“全局” “位置”

我一直在搜索java示例或java客户端库，以从google blob存储中导出csv内容，但不幸的是，除了AppEngine或python之外，还没有其他的幸运。 我们有一个应用程序，它使用CharStreams.readLines（…）来流式输出数据，现在该应用程序应该在计算引擎中启动，源数据在存储中 是否可能，如果可能，是否有文档？请查看存储示例中的getObjectData函数： 不要使用executemedia和downloadto函数，而是使用该函数。这将返回一个InputStre

我正在构建一个iOS应用程序，它使用firebase进行gmail身份验证。一些用户数据存储在firebase中。该应用程序将需要存储大量来自用户的媒体文件。我可以将这些介质存储在firebase存储上，但是我无法使用firebase计算每个用户的存储容量，从而向用户收取相应的费用。我知道firebase存储在谷歌云上 我是谷歌云和firebase的新成员。我想知道谷歌云平台是按用户计算的，还是整个应用程序的平台，来存储应用程序的内容。谷歌云平台有没有办法链接到谷歌用户自己的存储容量 当用户使用

我对谷歌云存储完全是新手。我正在尝试使用Bucket的教程将文件上载到Bucket。 我不知道从哪里获得“客户机密”。 有人能帮我一下吗。使用XML API有什么原因吗 python存储客户端可能更易于使用，请查看以下文档： 和

由于成本高，我们正在考虑PubSub的替代方案。对于我们的一些低价值和高容量数据，PubSub可能会变得非常昂贵 使用PubSub的计划： 在Kubernetes吊舱中运行服务 服务将数据推送到PubSub 我们添加了一个PubSub订阅者，该订阅者从PubSub读取数据并将其写入GCS 数据的值非常低。因此，即使我们由于pod重启等原因损失了一小部分，这也不应该是一个问题 是否可以将数据直接写入地面军事系统，或者是否有其他较便宜的替代方案 编辑：只是澄清一下，我们不需要实时写入数据。我们可以每

示例场景： 我将一个大对象cool\u video.mp4上传到GCS存储桶中 客户端请求cool_video.mp4并开始下载该文件 客户端的连接很慢，文件很大，因此客户端大约需要10分钟才能下载完整的文件 然后，在客户端下载文件的中途，我删除（或覆盖）cool\u video.mp4 客户端的下载会被中断还是短暂停止？他们是否保证获得文件的完整原始版本，或者是否可能获得截断或损坏的文件 最后，如果在GCS存储桶上启用了版本控制，会有什么不同吗？如果启用了版本控制，并且您已经覆盖了正在读取的对

当我尝试gzip并将文件上传到GS时，我一直遇到这个错误，尽管我有很多可用空间。为什么呢？ 我使用的是gsutil版本3.16。gsutil压缩系统默认临时目录中的文件（我的是ubuntu上的/tmp），根据您的分区，这可能会导致大文件的故障。如果这可以是.boto文件中的一个参数，而不是使用依赖于系统的参数，那就更好了。您可以通过在运行gsutil之前设置系统TMPDIR环境变量来克服这一问题 export TMPDIR=/home/repldba/tempfiles/gsutil中的临时文件

用户从外部存储桶下载数据时向谁收费？bucket的所有者，下载数据的帐户，或者两者都是 编辑：外部bucket指的是不属于用于下载数据的帐户的bucket。例如，A公司希望共享来自其自身bucket X的数据，B公司希望从X下载数据。我不确定“外部bucket”是什么意思，但在任何情况下，bucket所有者都要为对象下载产生的带宽付费（在列表中列为“出口”）.我正在更新这个问题，以解释我所说的外部桶是什么意思。它总是正确的吗？业主总是要付钱，或者有没有办法分担费用？这总是正确的。拥有bucket

我们正在将我们的服务器转移到Google云计算引擎中，并开始将云存储视为CDN选项。我通过开发者控制台上传了大约1000个文件，但问题是所有用户的所有对象权限都设置为“无”。我找不到任何方法来编辑所有权限以授予所有用户读卡器访问权限。我遗漏了什么吗？您可以使用以下命令执行此操作： gsutil -m acl ch -R -g All:R gs://bucket1 gs://bucket2/object ... gsutil defacl set public-read gs://«your b

有时，我们的地面军事系统上传请求（来自应用程序引擎，若有必要）失败，并出现错误“呼叫错误5”。恐怕我不知道返回的实际HTTP状态代码，因为我们正在使用，它对响应进行一些解析，并且（如果响应是JSON格式的错误消息）只在返回的错误结构中返回错误消息本身 我假设“调用错误5”表明谷歌方面存在某种暂时性问题，但我想确认一下，这只是为了确保…每个请求和每个响应的限制分别为10 MB和32 MB。请参阅：在本例中，这确实是我的错误-这些都是大型（>10 MB）上传尝试。

我创建了一个应用程序，它使用谷歌云存储客户端库允许用户将文件上传到云。 我创建了一个bucket并将我的项目帐户添加到其ACL中，如下所示： 此外，我的项目已启用计费。但是，在我部署应用程序并尝试选择文件将其上载到google cloud后，它给了我以下异常： /StdPersistentStorageClient com.google.appengine.tools.cloudstorage.NonRetriableException: java.lang.RuntimeException:

如果bucket本身为空，则尝试运行gsutil-m rm-r gs://bucketname时会出现错误： $ gsutil -m rm -r gs://scoletestbucket Removing gs://scoletestbucket/... CommandException: 1 files/objects could not be removed. $ echo $? 1 尽管出现了错误消息，但该命令确实执行了我们希望它执行的操作：删除bucket。但是我们监控命令返回代码的脚

gsutil已在.boto中为旧项目设置了项目id。我尝试使用gsutil mb gs://new project id在我的新项目中创建一个新bucket，但收到错误消息： 在项目概述中，确保为项目列出的项目编号与boto配置文件中的项目ID（旧项目ID）匹配 看起来我无法直接打开文件来更改它，因为所有的值看起来都像存储在其他地方的变量，而且我找不到任何类似于项目id的内容 如何更改.boto文件的项目id 如果您使用的是gsutil的gcloud发行版，则可以使用gcloud config

Datalab iPython笔记本文件存储在谷歌云上的哪里？我希望能够访问该目录，以便尽可能在GitHub上设置git存储库。谢谢大家! 如果使用，您可以在云中的以下位置找到提交的Datalab iPython笔记本： https://source.developers.google.com/p/[PROJECT_ID]/ 如果您正在运行，笔记本将位于Linux/OSX上的$HOME目录或windows上的C:/Users//Documents/目录中 就实际的Datalab docker容

我使用下面的代码创建了一个带有DM的bucket resources: - type: storage.v1.bucket name: test-bucket properties: project: my-project name: test-bucket 现在，当尝试在bucket内创建文件夹结构（test bucket name\test）时，我遇到了一个错误。请参考下面的示例代码和错误消息 resources: - typ

我创建了一个GCS bucket，并通过将READER授予alluser将其公开，因此我希望bucket中的所有对象都可以公开访问，但结果表明，只有bucket是可读的，而对象不是 我猜这是因为我为bucket启用了对象级权限控制，我的问题是：1）如何验证它是否为对象级权限控制？2） 如何将其更新为桶级权限控制 我需要基于gsutil的解决方案。谢谢 仅检查Bucket策略文档： 1-您正在寻找gsutil bucketonlypolicy get $ gsutil bucketpolicyon

我似乎找不到任何关于如何使用iOS服务帐户访问Google云存储的文档。iOS应用程序将图像写入Rails，我使用了一个带有ruby API的服务帐户将图像保存到Google存储。我试图从iOS上读取这些图像，但似乎没有这种能力，我不知道为什么。我能让它工作的唯一方法是使用API键并将预定义的ACL设置为“publicRead”。这意味着我的应用程序的图像是开放的互联网 我错过了什么？iOS库中没有此功能的原因是什么？将来有什么计划吗 谢谢我认为您在遵循一种非常糟糕的做法的同时，严重损害了您的安

我们将网站的静态文件、图像、javascript和css存储在一个Google存储桶中，不同类型的资源有不同的文件夹。每个文件都可以通过其名称以及通过CNAME记录映射到相应Google存储桶的自定义子域进行访问 这个方法很有效。然而，今天，当试图以Chrome的匿名私人浏览模式访问我们的主网站时，网站上的所有页面都无法加载。经过一些调查工作后，我们确定问题出在Google存储中存储的文件，这些文件没有加载 不幸的是，这似乎不是谷歌浏览器特有的问题。它出现在Firefox和Internet Ex

Google开发者控制台中是否有任何命令或选项来获取Google云存储桶中的对象和子目录计数。我认为开发者控制台中没有这样的选项。我认为计算对象的最好方法是使用gsutil（）？您可以使用诸如“gsutil ls gs://bucket/**wc-l”之类的命令来计算bucket中的对象数。我认为开发人员控制台中没有这样的选项。我认为计算对象的最好方法是使用gsutil（）？您可以使用诸如“gsutil ls gs://bucket/**|wc-l”之类的命令来计算bucket中对象的数量

我正试图在谷歌云存储桶上托管文件。我以前使用过这项服务，但现在它为另一个客户提供了一个新的bucket 出于某种原因，当我单击“公开共享”复选框时，它会立即取消选中并拒绝共享文件 谁能告诉我怎么解决这个问题吗 更新：经过更多的实验，我发现我的客户的帐户由于一些无法解释的原因完全拒绝共享。他输入了他的账单信息，还在试用期，但我不知道这是否与问题有关。我尝试过使用GSUTIL创建其他bucket并修改权限，但没有成功 尝试通过终端执行此操作？我没有，不幸的是，这对我的客户端来说不是一个好选择，因为我

在我正在运行的一些Python脚本中，我有一个（可能是唯一的？）用例。也就是说，我想要并行的gsutil，因此我不想从google.cloud导入存储，而是使用子流程调用，例如： subprocess.Popen(["gsutil", "-q", "-m", "-o", "GSUtil:parallel_process_count=8,GSUtil:parallel_thread_count=8", "cp", files, destination]) 以便从存储桶上载和下载文件 在实例组模板

几天前，当我们尝试执行如下命令时 gsutil cp gs://test\u buckt\u source/test\u folder\u source/test\u file.txt gs://test\u buckt\u target/test\u folder\u target/ 它用于在test_buckt_target bucket中创建test_folder_target folder，而不复制文件test_file.txt 今天它正在复制文件。这是由于gsutil版本的差异造成的。

我正试图使用签名url将一个对象上传到Google云存储。我正在使用JAVA方法生成url，如下所示（借助于此）： 但是，当我尝试上传一个对象时，在上面的URL上使用HTTP PUT，使用POSTMAN，我得到以下错误： <?xml version='1.0' encoding='UTF-8'?> <Error> <Code>SignatureDoesNotMatch</Code> <Message>The reques

我们已经为谷歌存储中的存储桶设置了谷歌对象通知，我们的网络管理员想要限制传入的ip地址，并且只希望它是特定于谷歌的 google是否有一系列的IP地址用于发布对象通知请求？无法保证通知来自哪些IP地址 相反，在最初创建通知通道时，请设置自定义客户端令牌。在传递通知时，它们将包括自定义令牌。您的服务器可以在处理传入消息之前验证令牌。是否可以保证令牌将来自设置通道的服务帐户所在的同一项目中的来源？例如，如果我的应用程序服务器周围有防火墙，但可以从其项目中访问，如果这些通知来自项目外部，则无法访问应用

我听说了Cloudflare的许多优点，他们有一个优秀的CDN产品，其功能在竞争对手（HTTP2、IPv6等）上是没有的 我在谷歌云存储桶中有文件 如何将这些文件设置为Cloudflare CDN的源文件 （Cloudflare控制面板似乎只是想要一个根域上的网站…？）可能有点晚了，但我给出了我的答案，以防其他人也希望这样做 我在CloudFlare后面的Google云存储中有一个存储桶。您只需按照此处的说明进行操作： 在CloudFlare中，您将需要管理您的根域，然后您可以在Google云

TL；DR我想知道我为Google nearline创建的生命周期规则是否正确，但是Google云存储没有删除我认为应该在测试中删除的文件，尽管等待了几天 较长的版本 我正在使用版本控制为备份设置Google近线存储&我正在尝试管理旧版本的保存。我已经通读了一遍，我想我明白了，但它的行为并不像我预期的那样 情况是这样的 按照文档中的示例，我将生命周期管理设置为保留6个版本的文件，并删除任何比该版本旧的文件。下面是我用来设置的json文档： { "rule": [ {

我正在尝试设置一个谷歌云存储桶，这样我上传的任何文件都会自动gzip，并设置“Content Encoding:gzip” 我尝试了基于的“gsutil defacl set public read gs://bucket”，但没有成功 有什么想法吗？默认情况下，无法将bucket配置为自动上传gzip文件。一种可能是在bucket上配置对象更改通知，并通过读取新的输入对象并编写压缩的等效对象，然后删除原始对象来实现响应通知的代码

如何安排计算实例/VM的启动/停止和备份实例/VM 我们在谷歌云中是否有任何调度器或由第三方提供的调度器？通过kubernetes和jenkins，您可以部署一个容器（很可能是由cron触发的），然后在某个时间间隔内关闭或备份它。 显然，您可以将应用程序和配置捆绑到一个不变的自定义映像中，以提高启动时间和可靠性： 但目前似乎没有方便的启动/停止gui 我想要一个工具：在每（x）个上午/下午；使用我的应用程序启动debian，使用pm2启动node，发送消息，将debian降速到磁盘上不可变的

我想将Google Cloud Storage用作静态网站，index.html对象存储在我的bucket子目录/文件夹中，比如说my directory 它只能在这个位置访问www.example.com/my directory/index.html，但我想以www.example.com/my directory/的身份访问它，可以吗 我曾尝试将MainPageSuffix添加为index.html，但它仅在根级别起作用 对于未来的读者：这是可能的，但是，由于有一个提示的小怪癖，实际上您可

我在GCS中有excel xls文件，我正在尝试使用cloudconvert API将其转换为csv。 因此，我使用v2api中的作业生成器创建必要的curl，用于从GCS提取文件、转换和上载。 我已提供所需的密钥、服务帐户、服务帐户权限和项目详细信息。问题是，无论何时使用CLI生成的curl，我都会收到以下错误- {"message":"Unauthenticated.","code":"UNAUTHENTICATED&qu

云存储对象上的生命周期事件（如删除）是否可以触发对象更改通知？是。当执行生命周期操作时，您将收到一个对象通知

我正在尝试将google云与现有的struts2 web应用程序集成，该应用程序在本地部署到我们的服务器上。你能告诉我怎么做吗 我只找到了一些示例，其中谈到与部署在google cloud中的应用程序集成。我能够成功地从独立java应用程序集成好的云。 Authentication Code package com.biperf.fsr.core.googlecloud; import java.io.File; import java.nio.charset.Charset; import

执行简单POC：使用Java客户端在Google存储中上传文件（>200MB文件大小） 2016年3月26日上午11:04:35 com.google.api.client.http.HttpRequest执行 警告：执行请求java.io.IOException时引发异常： 写入的数据不足 公共类AuthSample{ /** * RetryHttpInitializerWrapper will automatically retry upon RPC * failures, prese

是否有可能创建一个谷歌云存储桶，并限制其访问一个IP？我计划使用一个存储桶来存储只有我才需要上传/下载的数据。不，目前不可用。请签出。此免费功能允许您根据各种属性（包括源IP地址）限制客户端对项目资源的访问，并包括对云存储桶的支持。是否有任何方法可以做到这一点，而无需创建与项目关联的域？看这个问题。VPC服务控制需要GCP组织。对于一个组织来说没有成本，它也使得管理多个项目变得更容易。唯一的先决条件是internet域（或子域），您可以在其中证明所有权，作为安装过程的一部分

我使用boto创建bucket。但问题出现了： 转储信息： File "train.py", line 111, in <module> main() File "train.py", line 48, in main train(args) File "train.py", line 51, in train data_loader = TextLoader(args.data_dir, args.batch_size, args.seq_lengt

我想使用instances.attachDisk API。在它对请求主体字段的描述中，其中一个字段是“type”。以下是对它的描述： 类型枚举指定磁盘的类型，可以是临时磁盘，也可以是永久磁盘。如果未指定，则默认值为持久 添加磁盘时，我只看到两种类型的“标准持久”和“SDD持久” 因此，我想了解以下“划痕”类型的详细信息： “刮擦”在这里是什么意思 如何添加暂存盘 其中是“暂存”磁盘的文档 我查阅了与存储相关的文档，但没有找到任何关于“刮擦”磁盘的特别说明 请帮助我。来自[1]：当您需要快速暂存磁

react-360说明似乎非常清楚和简单： <Image source={{uri: "https://images.pexels.com/photos/614810/pexels-photo-614810.jpeg?auto=compress&cs=tinysrgb&h=650&w=940"}} style={{height:100,width:100}} /> 但我已经手动将图像文件上传到谷歌存储、亚马逊S3和Azure Blob存储。将它们公开后，

我们已经将文件上传到谷歌云存储桶，并计划创建一个权限，让许多人访问它。到目前为止，我们只能筛选/搜索您所在目录中的文件和文件夹。但是，是否可以递归搜索文件？似乎您要查找的是以下用于在bucket内递归搜索的命令： gsutil ls -r gs://bucket/** 注意：“bucket”是您设置的bucket的名称 如果要在特定目录中搜索，可以运行以下操作： gsutil ls-r gs://bucket/dir/** 注意：“dir”将是您要搜索的目录 通过转到以下内容，您可以在“逐目录

上面是我试图通过部署管理器创建StorageBucket时的消息。我已经尝试添加1058303916595@cloudservices.gserviceaccount.com在Google搜索控制台上向该域的已验证所有者发送，但仍然没有运气要创建具有域名的存储桶，您的帐户应该是该域的已验证所有者，而不是cloudservices.gserviceaccount.com。更多信息可在文档中找到 您必须使用登录谷歌云控制台时使用的相同帐户登录域名提供商。然后请求一个新域名，进入谷歌云控制台应用引擎页

我正在通过呼叫获取我的对象 https://<bucket>.storage.googleapis.com/?prefix=folder%2F<object name>%2F&delimiter=/&max-keys=1000 是什么导致了这个问题 编辑 因此，我尝试对百分号进行双重编码，以便“%”字符在请求中变成“%2525”。然而，在响应中，前缀奇怪地是“%25”。在使用更多情况进行测试后，结果表明，只有在“%25”后面跟有2个字符（均在“0”和“f

我在谷歌云存储上运行一个静态网站（博客） 我需要为所有现有的和未来的对象的缓存控制头设置默认头 然而，指令显示了该命令，它似乎既不适用于bucket中的“未来”对象，也没有给我设置 可继承到现有/未来对象的bucket范围的策略（因为命令已执行） 这让我感到惊讶，因为有类似于gsutil-defacl的特性，可以为将来创建的对象继承的bucket设置策略 问：是否有适用于所有现有和未来对象的整个存储桶的元数据策略？无法在GCS对象上设置默认元数据。您必须在写入时设置元数据，或者可以稍后更新（例如

我可以在GCS中上传输入流数据吗？如果可能的话，怎么办？创建函数中的BlobWriteOption和BlobTargetOption是什么意思 public void upload(String objectName,InputStream stream) throws IOException { Credentials credentials = GoogleCredentials.fromStream(new FileInputStream(jsonkey));

有没有一种方法可以应用谷歌存储桶每天/每月/年的上传限制 有没有办法限制网络流量？ 有没有办法对a类操作施加限制？ 有没有办法对B类操作施加限制 我发现每个用户每100秒只能查询一次，而使用 说明，但这是JSON Api配额 （我甚至不确定StorageClient c#客户端类内部使用的是哪种api）用于定义配额，顺便说一句，SLO需要有SLI:Service level indicator。这意味着要有你想要观察的指标 在这里，情况并非如此。云存储尚未显示每天的数据量。因此，您没有内置的指标