我试图访问存储桶中的文件,但我一直拒绝访问这些文件。我可以在GCS控制台中看到它们,但可以通过该控制台访问它们,也不能通过运行下面命令的gsutil访问它们
gsutil cp gs://my bucket/folder-a/folder-b/mypdf.pdf文件/
但所有这些返回都是AccessDeniedException:403禁止的
我可以列出所有的文件等等,但不能实际访问它们。我已经尝试将我的用户添加到acl,但仍然没有效果。所有的文件都是从虚拟机通过保险丝挂载上传的,它工作得很好,
我有一个pubsub主题,有一个订阅,两个不同的订阅方正在从中获取信息。
使用stackdriver,我可以看到订阅有约1000条消息。
每个订阅服务器运行以下轮询循环:
client = pubsub.Client()
topic = client.topic(topic_name)
subscription = pubsub.Subscription(subscription_name)
while True:
messages = subscription.pull(return
在遵循指南在Google Cloud Dataproc群集上设置jupyter笔记本时,我遇到以下错误:
gcloud dataproc clusters create my-name \
--project my-project-id \
--bucket my-bucket-name
--initialization-actions \
gs://dataproc-initialization-actions/jupyter/jupyter.sh
(gclo
如何在扳手中重命名数据库实例
我试过:
谷歌云平台控制台
扳手API
谢谢不幸的是,创建数据库后无法更改其名称。文档可在此处找到:
在重命名数据库时,很明显:
创建后无法更改
我刚刚意识到你的问题可以用两种方式来解释。如果您想重命名Google Cloud Paner实例(而不是数据库),则可以:谢谢!首先,你的翻译是正确的。
我已经用云存储桶中的数据创建了一个大查询
在我的用例中,我定期将数据发送到作为我的大查询后端的同一个bucket(在创建大查询表时,我使用了相同的bucket名称)
是否有可能将更新后的数据放入大查询中,因为每次我都会在一定的时间间隔内将新数据推送到同一个存储桶中
只需提一下——我正在从上面提到的专用存储桶中进行本机大查询
非常感谢你的帮助。提前感谢。您可以在谷歌云存储桶上创建外部(联邦)表
有很多细节
因此,在本例中,无论何时查询此表,都将获得最新数据
若您只需要根据bucket中的数据将数据
TL;DR
向Stackdriver发送容器优化的oshost日志(ssh和执行的shell命令)的最佳实践是什么
背景:
我使用的是谷歌的容器优化操作系统,效果非常好。将容器日志发送到Stackdriver非常简单,但是如何将主机日志发送到Stackdriver
出于审计目的,我需要记录所有SSH连接(接受或拒绝)以及通过shell执行的所有命令。之前,我只是通过stackdriver主机记录器包将rsyslogd(auth,authpriv)发送给stackdriver
这适用于在托管实例组
使用struct字段创建table语句的语法是什么?下面似乎不起作用。我想创建一个记录字段,如id.level1.level2.level3
CREATE TABLE mayumi_load_test.struct_cre(
STRUCT<STRUCT<STRUCT<STRUCT<id INT64> level1> level2>level3,
t_ TIMESTAMP
)
PARTITION BY Date(t_)
创建表mayumi\u loa
我目前正在使用BigQuery文档com.google.cloud中建议的以下客户端:google cloud BigQuery:1.36.0
此客户端似乎还不支持为目标表指定时间分区。这是预期的还是我需要使用旧客户端com.google.api:google api services bigquery才能使用此功能?您不需要在客户端中设置特定属性。使用a,例如:
您不需要在客户端中设置特定属性。使用a,例如:
CREATE TABLE dataset.new_table
PARTITION B
我安装了一个webhook,它使用Google Cloud PubSub API和Java中的Gmail API监听和处理我收件箱中的更改,并在Gmail中发送文件夹
我看到的问题是,当我向另一个用户发送消息时,PubSub似乎会在一秒钟内两次推送到我的端点,历史id和消息id略有不同,但订阅名称和用户电子邮件相同
我知道PubSub保证至少一次传递,因此收到重复的消息并不奇怪,但由于重复消息不断发生且消息id不同,我认为可能会有基于以下PubSub文档的多个推送请求:
云发布/订阅为每条消息分
我正在执行一个GCP模块来创建一个服务帐户
main.tf:
创建帐户后,将创建一个terraform.tfstate文件,其中包含帐户的所有详细信息
terraform.tfstate
正如您在上面看到的,在模块中,我将输出account\u id输入变量。是否有方法输出属性即id,名称等,以便其他模块可以访问它们?属性是在创建资源后计算的。来自资源的文档:
将导出以下计算属性:
电子邮件-服务帐户的电子邮件地址。该值应从授予服务帐户权限的任何google_iam_策略数据源中引用
名称-服务
目前,无服务器VPC仅适用于us central。我们什么时候才能在欧洲得到它,因为它是一个阻滞剂,因为法规。我们真的很想在memorystore中使用Google云功能 无服务器VPC访问目前通过API和CLI支持以下区域:
美国中央银行
美国东部1
欧洲西部1
您可以使用以下命令进行尝试:
gcloud beta compute networks vpc-access connectors create [CONNECTOR_NAME] \
--network [VPC_NETWORK]
我在通过google cloud通过SSH访问我的实例时遇到问题,在尝试远程连接时,在mac上尝试使用gcloud命令连接时,它会告诉我:
Permission denied (publickey).
ERROR: (gcloud.beta.compute.ssh) [/usr/bin/ssh] exited with return code [255].
我使用的命令如下所示:
gcloud beta compute --project "my-instance" ssh --zone "s
我想在gcp中获取实例停止时间的数据。i、 e.从实例停止时开始。我想在脚本中实现它,以便进一步使用它并将服务器移动到快照。有谁能帮助我如何使用gcloud或调用google API的python脚本从gcp获取这些数据吗?通过下面的命令,您可以获取有关停止实例的JSON数据,相应地更改时间戳值:
gcloud logging read 'resource.type="gce_instance" AND logName:activity_log AND timestamp>="2019-0
在gCloud日志中,是否有方法让它记录来自API的请求或响应
例如,我注意到在同一文本的不同灯光设置下使用文本识别API将产生一系列非常不同的结果,这对跟踪这些内容非常有用 是,通过写入代码中的Stackdriver日志。Stackdriver不记录请求或响应主体。这是您的代码需要做的事情。根据您的程序语言,这就像打印语句一样简单。ah所以它基本上只是将其用作存储引擎,用于存储返回的结果,而不是记录本身?如果Stackdriver记录请求和结果,数据量将是巨大的。记住,Stackdriver是
我在bigqyery中有一个包含以下数据的表格
Qualification_No 2019.2 2019.1 2018.4
100/1802/5 10 20 30
100/1811/6 15 23 10
我希望数据如下所示
Qualification_No No_of_certification
100/1802/5 10
100/1802/5 20
100/1802/5 30
100/18
大家好,我正在使用GoogleCloudAPI,当我尝试运行GC文档中给出的演示程序时,我将使用以下代码
from google.cloud import language
from google.cloud.language import enums
from google.cloud.language import types
# Instantiates a client
client = language.LanguageServiceClient()
# The text to a
我正在尝试将特定的服务帐户传递给cloud composer DataprocClusterCreateOperator任务dag。在将服务帐户名称(作为字符串)添加到dag中的service_account字段时,我无法设置服务帐户,并且服务帐户具有datprocAdministrator角色。
获取错误“未授权请求的资源”
仍然显示以下错误:
返回“未授权请求的资源”
--------------日志--------------
[2019-10-25 09:05:14965]{base_
我对使用terraform的GCP非常陌生,我想使用集中式工具部署我的所有模块
有没有办法取消每次启用google API的步骤,这样部署就不会中断?有一个称为“google\u project\u service”的地形资源定义,允许用户启用服务(API)。这记录在
用法的一个例子似乎是:
resource "google_project_service" "project" {
project = "your-project-id"
service = "iam.googleapis
我有一个使用GoogleCloudComposer为bigquery调度和ETL作业的简单需求。我有三个暂存表(从GCS存储桶中的文件填充)和一个基表(通过连接三个暂存表加载)。我有一个用ETL工具编写的框架,当数据的相应文件到达使用云函数文件到达触发器实现的GCS存储桶时,它会将数据加载到bigquery暂存表中。我必须在composer DAG中设置一个依赖项,该依赖项表示在成功完成三个暂存表之后执行我的基表。
我的dag大致如下所示:
任务1:加载stg表1
任务2:加载stg表2
任务3
我有一个Terraform(版本是最新的)模块来创建GCP项目。根据某些变量(dev=true/false//test=true/false//prod=true/false),模块会同时创建不同数量的GCP项目。项目名称基于变量加上阶段前缀
resource "google_project" "project-dev" {
count = var.create_dev ? 1 : 0
name = "${var.project}
我想用GCP$300学分做一些机器学习任务。我希望使用kaggle数据集来解决这个问题。有谁能告诉我,我应该从谷歌云平台套件和任何可用的教程资源中选择使用哪个选项
谢谢
迈克尔
如何将GCP用于机器学习
实际上,有很多不同的可能答案,这取决于您希望使用Google云服务进行哪种类型的ML培训
我强烈建议您看看这篇文章,您将看到在Google Cloud中推荐使用ML的基本结构
此外,您还可以找到一些教程,帮助您在谷歌云上进行机器学习的第一步
综上所述,;谷歌云中的机器学习可以概括为:
数据摄取
当连接到计算引擎实例的多个本地SSD之一出现硬件故障时,会发生什么情况?具体而言:
谷歌云平台是否自动检测到故障
是否有通知,例如通过电子邮件
更换驱动器需要多长时间
VM是否已停止,并在更换后重新启动?或者,这是一个热交换
显然,该SSD上的数据丢失了,但是,连接到同一虚拟机的其他SSD上的数据会发生什么变化
编辑:我了解本地SSD的“短暂”性质,并计划在多台计算机上跨主区域的不同区域复制我的数据,并将至少一次复制到完全不同的区域。我计划使用的数据库是“数据中心/机架感知”。我特别想了解有关G
我已经为此挣扎了一个多星期
我正在尝试用Java编写后端代码来管理域中的用户(创建/添加/删除)
我一直看到以下错误:
{
"code" : 403,
"errors" : [ {
"domain" : "global",
"message" : "Not Authorized to access this resource/api",
"reason" : "forbidden"
} ],
"message" : "Not Authorized to a
根据文件,有三种审计:
管理活动审核日志、系统事件日志和数据访问审核日志
正在生成哪种类型的日志GKE集群?我不清楚。
我想了解一下价格是多少
根据文件:
管理活动日志-默认情况下免费启用这些日志
k8s_集群-Kubernetes API服务器编写的日志条目适用于k8s_集群资源类型。这些日志条目描述对集群中Kubernetes资源的操作,例如POD、部署和机密
gke_集群-由Kubernetes引擎API服务器编写的日志条目应用于gke_集群资源。这些日志条目描述了集群创建和删除等操
我想运行谷歌计算引擎上的GPU自定义Docker图像。
我已经建立并推送到谷歌容器注册图像。
在Google云引擎中为主机使用容器优化的操作系统似乎是合乎逻辑的,因为除了Docker、Nvidia GPU驱动程序和Nvidia容器运行时,主机上不需要任何额外的软件
我设法用安装了nvidia驱动程序
但如果没有nvidia容器运行时,我无法使用GPU运行Docker映像(使用--GPU all选项)
有没有办法在Google Cloud VM中的容器优化操作系统上安装nvidia容器运行时?您不
我目前正在研究GCP的部署管理器,以部署新项目、虚拟机和云存储桶。
我们需要一个经过身份验证的用户可以连接到的web前端,以便部署所需的基础设施,尽管我不确定建议使用哪些开发操作工具来处理此系统。我们有一个Jenkins和Octopus Deploy的实例,不过我在Google的配置管理页面()上看到,他们建议使用其他工具,如Ansible、Chef、Puppet和Saltstack
我假设通过其中一个,我可以更新一些简单的东西,比如config.yaml文件中的name变量,并部署一个项目
我
我正在将我的文件从本地计算机复制到谷歌虚拟机
我目前正在使用本地机器SSH连接访问Google VM
命令如下:
gcloud compute scp ~/Desktop/testing.png dms-2:~/testing --internal-ip --zone=us-west1-b
% Total % Received % Xferd Average Speed Time Time Time Current
我必须创建一个程序,每天获取AppStore和PlayStore上一组应用程序的安装信息
对于PlayStore,使用Google云存储,我按照本页上的说明使用客户端库和服务帐户方法以及Python代码示例:
由于文档看起来不是最新的,所以我稍微修改了给定的代码以使其正常工作。我使连接到API成为可能,它似乎连接正确
我的问题是,我不明白我得到了什么东西以及如何使用它。它不是一个报告,它只是看起来像一个目录中的文件属性
这是我的代码(私有数据“隐藏”):
当我打印假定的“未来”报告(这是一本字
我正在尝试通过GitLab CI/CD将云函数从GitLab中的存储库部署到Google云函数。我得到了标题和下面的错误
错误:(gcloud.functions.deploy)ResponseError:status=[403],code=[probled],message=[Permission'cloudfunctions.functions.get'denied on resource'projects/ahinko website prd/locations/us-central1/f
我正在使用CDAP参考启动数据融合批处理管道(GCS到GCS)
其中argfile是参数设置器宏的输入URL
json文件的参数为:
{
"arguments": [
{
"name": "input.path",
"type": "string",
"value": "gs://bucket/employee
我们正在构建一个存储客户购买历史记录的系统。主要是三个实体
订单(订单状态不断变化时的可变数据)
返回值(由于返回值可能会发生状态更改,因此返回值也是可变的)
发票(不可变)
对于“订单”和“退货”,我们将从另一个GCP项目订阅pubsub事件。最后,我们需要所有事件的事件日志,以及“订单”和“退货”的当前状态。在我看来,BigQuery在存储事件方面会做得很好,因为它主要是一个只附加的数据库,可以帮助跟踪事件的时间。但是,BigQuery的一些用户只对最终状态感兴趣
Eg:
Events
标签: Google Cloud Platform
firebase-authenticationgoogle-cloud-functionsgoogle-cloud-endpointsgoogle-api-gateway
我正在使用和构建经过身份验证的云函数。在身份验证后,我从firebase获得JWT令牌后,我尝试将curl链接到AuthorizationasBearer中的令牌。当我在《邮递员》中尝试时,我得到了“JWT验证失败”。当我在客户端应用程序中尝试时,收到了“错误请求”。除了链接中提到的设置之外,我是否需要在发出请求之前做任何额外的事情
根据要求更新更多详细信息
swagger: "2.0"
info:
title: My API Endpoints
descriptio
我从谷歌域名上买了一个域名,叫做example.com
我已经订阅了G Suite basic并创建了一个admin@example.com在GCP上使用的帐户,而不是我的个人帐户
在GCP内部,我发现已经创建了一个名为“example.com”的组织
作为admin@example.com,我试图进入谷歌云平台的IAM和管理部分的设置。在那里我可以看到组织的名称和ID
但是,当我尝试更改组织名称时,会收到以下错误消息:
您没有重命名此资源的权限。要求的
权限:所有resourcemanager
我想编写一个可以创建IAM策略绑定到服务帐户作为资源的应用程序。特别是,我想配置部署管理器
我知道这可以通过GCP控制台完成,或者
也许我遗漏了什么,但如何使用部署管理器实现这一点?您可以使用部署管理器在创建服务帐户时创建与服务帐户的IAM策略绑定
我使用下面的jinja文件在我自己的项目中测试它
我创建了一个deploy.jinja
我创建了一个部署:
我得到了以下结果:
NAME TYPE STATE ERRORS I
我正在为Google Cloud platform marketplace创建一个列表/报价,其中包含一个模式和一个UI显示文件。然而,我很难找到有关各种组件(如磁盘、输入字段、网络等)的文档,这些文档可以指导我的各种类型和限制
与网络选择一样,我们有以下资源:
network:
type: array
default: [default]
minItems: 1
maxItems: 1
x-googleProperty:
type: GC
我创建了一个谷歌云平台项目。我使用GoogleDrive api设置了一个服务。我不知道如何访问保存到google drive中的文件。首先,您必须访问,然后才能查看
你需要这些文件。几乎完全控制
请查看“”文档,其中列出了记录文件的所有字段以及操作这些字段的方法
假设您只想列出Google Drive-on中的所有文件
以下是“试用API”页面的链接。首先,您可以访问,然后可以查看
你需要这些文件。几乎完全控制
请查看“”文档,其中列出了记录文件的所有字段以及操作这些字段的方法
假设您只想列出
您好,我正在开发一项功能,其中我想将文件从系统上传到google cloud bucket,这就像一个魔咒,但当文件成功上传到云端时,我无法找到从cloud bucket获取响应代码的方法。
当文件上传成功时,有人能建议我如何取回响应代码吗?我正在附加代码片段以进行更好的调试
private void uploadtobucket(List<MultipartFile> selectedfile, String instancekey) {
// TODO Auto-
考虑我的实体类,如下所示
@Entity(value='order')
class Order{
private int orderNo;
private Set<OrderDetails> ordDet;
}
@Entity(value='orderdetails')
class OrderDetails{
private String productCode;
private int prdQty;
}
我对过滤器的实现如下:使用Google数据存储API查询实体中的list
我试图在谷歌云上部署node.js应用程序,但出现以下错误。我从10月10日起就面临这个错误。不知道如何解决:
Step #2: ERROR: (gcloud.beta.app.deploy) PERMISSION_DENIED: You do not have permission to act as '[xxxxxxx]@appspot.gserviceaccount.com'
Step #2: - '@type': type.googleapis.com/google.rpc.Resour
我成功地使用我的第一个GoogleCloudStorageToBigQueryOperator将换行符分隔的JSON文件加载到bigQuery
代码的主要部分如下所示
default_args = {
'owner': 'airflow',
'start_date': start_date,
'email': email_alert,
'email_on_failure': True,
'email_on_retry': False
}
with DA
首先,我想把这篇文章贴到google cloud pubsub lite上,但它还没有创建,我道歉
我正试着用pubsub-lite介绍我。我认为它可以作为在GCP项目中获得事件存储的“廉价”方式
我们通常创建GAE标准服务,因此我们为使用的服务付费,同时它提供了很好的可扩展性
在阅读有关当前如何订阅pubsub-lite的示例时,我发现没有提供接收新消息的端点的选项。客户端连接到订阅,并等待通过连接传输新消息
我想知道几个问题:
我们可以在云函数或GAE标准服务的端点中接收来自pubsub-
我想以编程的方式获取谷歌云资源的定价,我看到的所有文档和参考资料都只会带我去。此页面仅列出2个API,一个用于列出所有服务的列表,另一个用于提供该服务下的SKU。
是否没有其他精炼的API可以只提供我想要的细节?比如某个地区的计算引擎定价?
我是否需要查询这些巨大的json文件来获取一个资源的价格
这些服务显示名称是否有静态查找值?像“计算引擎”一样,我如何知道谷歌在应用引擎、云存储等方面使用的所有名称?这允许开发者管理他们的谷歌云平台项目的账单。关于这个问题有一个非常古老的说法,即功能请求。请
我是错误处理新手,需要帮助处理此错误
短Q=怎么做请用简单的答案解释
<Error>
<Code>AccessDenied</Code>
<Message>Access denied.</Message>
<Details>Anonymous caller does not have storage.objects.get access to the Google Cloud Storage object.</D
我真的需要帮助吗
在我的公司,我们需要检查我们的一个用户是否在他们告诉我们的地点之外使用GCP。有没有办法让我通过GCP控制台找到哪个国家或获取此人的IP
谢谢,您可以通过以下文档页面找到此类信息:
打开谷歌管理控制台
从管理控制台主页,转到报告
在左侧的审核日志下,单击登录
登录审核日志提供以下信息:
IP地址:用户用于登录的IP地址。通常,地址是用户的物理位置,但它可以是代理服务器或虚拟专用网络(VPN)地址
您可以通过以下文档页面找到此类信息:
打开谷歌管理控制台
从管理控制台主页,转
让我们假设,我运行的是谷歌的云运行服务。
我们还假设有人真的想伤害你,并且发现了所有API路由,或者能够通过垃圾邮件发送大量post请求
有一个电子邮件通知,它会在您之前设置的某些限制上弹出
是否还有一种方法可以自动切断云运行服务,或将其暂时脱机?我找不到任何好的资源或解决方案。你不能真正“关闭”云运行服务,因为它完全由谷歌管理。如果没有请求,云运行实例将自动缩小到零,但它将继续提供流量服务
要模拟您想要执行的操作,请确保您的服务需要身份验证,然后撤销对违规用户(或所有用户)的访问。如报告中所述
我为pubsub订阅设置警报监视,如下所示:
我原以为每2分钟就有一次,因为整个过程都符合条件
但我只收到过一次通知。我还尝试了duration1分钟。还是不走运。
我做错了什么?
或者我对这些术语的理解可能是错误的
我想要的是:
每2分钟,当未确认邮件计数>x时,触发警报
注意:我在这里屏蔽了过滤器字段,这是一个订阅id您当前的监控设置正在按预期工作,因为您只有一个时间序列和一个条件。根据:
只有满足以下任一条件时,才能接收多个通知
是真的:
满足所有条件:
当所有条件都满足时,则每个
导致
我们正在尝试在一个分布式系统上的事件发生后对现有主题进行简单的发布
代码如下所示:
try:
dat = data.encode('utf-8')
topic.publish(dat)
except:
<code to recover>
看起来您正在寻找的相关讨论是第2683期
您没有做错任何事情,似乎捕获异常并重试是目前最合适的解决方法。如果主题是全局变量,它将停止产生错误。将主题设置为类变量并仅实例化一次-仅调用此行一次:
topic = pubsub.Client
一周前,谷歌宣布(),他们将使用BERT()更好地理解搜索查询和特色片段
因此,我的问题是,如果在自然语言API中也使用了BERT,或者这两个系统是独立的?BERT既是一个可以训练的模型,也是一个预训练层,您可以在对层进行训练之前将其用作对输入文本的第一理解
从这个意义上说,谷歌允许你利用TPU在GCP机器学习中做第二件事。你可以看到
至于谷歌是否在他的NLPAPI中使用了BERT,我还没有发现这种情况,尽管他们可能会在幕后使用它
在查看Google云平台的数据流时,我对FlexRS类型有一个问题:)
据我所知,数据流支持批处理和流,但我很想知道有一种FlexRS类型
在文档中很难简单地理解FLEXR,只是它比典型的工作流便宜
我能请你解释一下屈肌吗
谢谢。是一项全面管理的批处理和流式分析服务,通过自动缩放将延迟和处理时间降至最低
关于FlexR for Dataflow,ou可以在非时间关键的批处理管道中使用它,例如可以在特定时间窗口内完成的每日或每周作业。通常,数据流同时使用可抢占和常规工作线程来执行作业。它考虑了可抢
我想在服务帐户中使用googlevisionapi。问题是没有角色只允许访问visionapi,我找到的唯一角色是owner角色,它太强大了
是否有任何角色只允许访问Vision API或以其他方式授予应用程序权限,而不允许完全访问GCP项目?Vision API目前没有特定角色。如图所示,建议使用所有者角色(我完全同意使用该角色可能非常危险)。问题追踪器上至少打开了两个功能请求,我建议您启动并对其进行评论,以便实现这样一个角色。同时,您可以遵循@johnhanley在评论中提供的建议。Visi
上一页 1 2 3 4 5 6 ...
下一页 最后一页 共 231 页