Amazon web services 将JSON数据加载到AWS红移将导致空值

我正在尝试执行加载/复制操作,将数据从S3存储桶中的JSON文件直接导入到Redshift。 复制操作成功,复制后,表的行/记录数正确,但每条记录都为空 加载将花费预期的时间,复制命令返回OK,红移控制台报告成功,没有错误。。。但是如果我从表中执行一个简单的查询,它只返回空值 JSON非常简单+扁平,格式正确(根据我在这里找到的示例:) 基本上,每行一行,格式如下: { "col1": "val1", "col2": "val2", ... } { "col1": "val1", "col2":

Amazon web services AWS Elastic Beanstalk更新环境错误

我犯了一个奇怪的错误 命令: aws elasticbeanstalk update-environment --environment-name my-env --version-label c4fc4991b8838933de0f498e2e0060b522078092 调用UpdateEnvironment操作时发生客户端错误(InvalidParameterValue):请求对象时必须指定bucket name参数 此外,我在上找不到任何与bucket相关的配置 这是我的政策

Amazon web services 红移WLM配置:如何使用未分配的内存?

定义红移查询队列时,可以分配分配给每个队列的内存比例。因此,例如,如果您有5个队列,您可以为每个队列分配20%的内存。但是,您还允许分配内存,使其一部分保持未分配状态 在本文件中: 上面说,, “任何未分配的内存都由Amazon Redshift管理,如果队列请求额外内存进行处理,则可以临时分配给队列。 例如,如果配置四个队列,则可以按如下方式分配内存:20%、30%、15%、15%。其余20%未分配,由服务管理。“ 在文件的前面,它说, 如果特定查询需要的内存超过分配给单个查询插槽的内存,可以

Amazon web services 获取电子邮件内容

我正在尝试获取使用SES收到的电子邮件的内容。 但我得到的反应是疯狂的 { "notificationType": "Received", "receipt": { "timestamp": "2015-09-11T20:32:33.936Z", "processingTimeMillis": 222, "recipients": [ "recipient@example.com" ],

Amazon web services AWS路由53-DNS问题

在过去的几天里,我一直在努力让我的DNS正常工作。下面是我如何设置它的: (我正在使用GoDaddy现有域) 我设置了一个名为ironblu.com的托管区域 我从托管区域抓取NS并在GoDaddy仪表板上更改它们 我在托管区域中添加了2条记录 唱片 空白nname-IPV4-值52.2.188.143(我的EC2弹性IP) 另一个记录(我尝试了*已经和相同的结果)与www IPV4-值52.2.188.143 以及托管区域中的SOA记录 以下是dnswatch的结果: Searching

Amazon web services Kubernetes持久卷

我在google云集群中运行了这个MYSQL数据库pod,还使用了一个持久卷(GCEpersistentdisk)来备份我的数据。 有没有办法让AWS持久卷(AWSElasticBlockStore)备份同一个Pod,以防谷歌云平台出现问题,无法访问我的任何数据,因此当我在AWS中创建另一个Kubernetes Pod时,我将能够从该AWSElasticBlockStore获取我的最新数据(在GCP崩溃之前)。 如果不是,那么在两个不同的云提供商上同时备份kubernetes数据库pod的最佳方

Amazon web services 可用EC2实例类型是否因可用性区域而异(在同一区域)?

亚马逊在法兰克福推出了第三个可用区:eu-central-1c 在我看来,第三个可用性区域并不支持现有区域(eu-central-1a和eu-central-1b)中可用的所有实例类型 我一直认为,可用实例类型可能因区域而异,但在同一区域内的可用性区域上是相同的。据我所见,情况并非如此 如果一个EC2实例类型在一个区域中可用,您不能假设它在所有可用区域中都可用,这是真的吗? 用于测试的脚本是: aws ec2 describe-reserved-instances-offerings \

Amazon web services 为Terraform aws_autoscaling_group模块的每个实例设置唯一标记

可以为Terraform的aws_autoscaling_group模块创建的每个EC2实例分配不同的标记值。例如,对于4个实例的ASG,节点1、节点2、节点3和节点4 谢谢。AWS中的自动缩放组只能(可选)将ASG的标记传播到它创建的实例。它不能基于ASG中的实例数进行任何动态标记 如果您真的需要这样做,那么您必须让实例的用户数据执行一些步骤,计算名称标记应该是什么,然后重新标记自身(当然,实例必须具有相应的IAM权限) 对于一个实例,要计算出它在ASG中的数字可能很棘手(请考虑您的自动缩放操

Amazon web services 我应该在用户每次打开我的web应用程序时初始化facebook和google SDK吗?

我在web应用程序中使用AWS Cognito服务进行身份验证。用户可以通过用户名和密码、谷歌和facebook登录。 我使用Amazon用户池通过用户名和密码登录。我使用亚马逊联合身份登录谷歌和facebook。 当用户打开我的web应用程序时,我从facebook和google sdk(FB.init()和gapi.client.init()获得令牌 然后创建AWS凭证中使用的“登录”对象: AWS.config.credentials = new AWS.CognitoIdentityCr

Amazon web services AmazonS3GET请求和S3数据检索之间的区别

关于AmazonS3的一个理论问题 S3-IA Get请求的定价存在差异:$.001/10K S3数据检索成本:0.01美元 我的问题是,Get请求和数据检索之间有什么区别 获取请求是请求文件检索的行为 数据检索根据所检索数据的大小按GB收费 一般来说,如果您每月访问一次或更少,那么标准不频繁访问的成本较低

Amazon web services 在AWS资源往返工程中使用CloudFormer

我想以一种自动化的方式使用CloudFormer来生成VPC中现有资源的模板。我可以使用Ruby SDK CloudFormation::Client.create_stack()创建CloudPreformer实例,并使用CloudFormation::Client.delete_stack()将其拆下-但在它运行时,我不知道如何与它对话,要求它为资源生成CloudFormation模板。我设想这样做: for every SecurityGroup in VPC: ask Cloud

Amazon web services 命令在实例上失败。发生意外错误[错误代码:000000000 1]

是的,我知道这些问题非常模糊,但在我与AWS的工作生涯中,我从未遇到过这样的问题 总之,这很简单。我正在运行一个具有最少2个最多4个实例的EB环境。每隔一两天,我就会收到一个错误,上面写着“发生了意外错误[ErrorCode:0000000001]”。要解决这个问题,我每次都必须重建整个环境 对实例id“”执行命令失败。流产 操作失败。保留实例运行以进行故障排除。实例 尚未重新连接到负载平衡器 有人遇到过这样的问题吗?当这种情况发生时,系统健康检查和实例健康检查是什么样子的?在一个实例中,我得到

Amazon web services 使用资源访问策略控制对AWS API网关中API的访问无效

我的基础结构如下所示: 两台EC2机器(无公共IP)。每个EC2机器都位于单独的子网中 AWS API网关具有4个API。 EC2机器将访问AWS API网关以使用其余API 测试: 我试图通过IP地址使用资源访问策略控制对API网关的访问。我只希望两台EC2机器访问API网关,我的资源策略如下。我正在资源策略中使用子网的IP/CIDR { "Version": "2012-10-17", "Statement": [ { "Eff

Amazon web services 将AWS S3中的数据转换为另一个模式结构(也在S3中)

这是一个相当初级的问题- 我将日志数据存储在S3文件中,采用压缩JSON格式。 这些文件位于反映分区的目录层次结构中,其方式如下:s3://bucket\u name/year=2018/month=201805/day=201805/some\u more\u partitions/file.json.gz 我最近将日志记录的模式更改为稍微不同的目录结构。我添加了更多的分区级别,这些字段当前位于JSON内部,我想将它们移动到文件夹层次结构中。另外,我稍微更改了内部JSON模式。它们位于不同的S

Amazon web services 应用程序同步-为未经身份验证的用户保护Api

我们正在使用AWS应用程序同步构建应用程序,我们仍处于非常早期的阶段 我们的应用程序有一个限制区域,通过用户登录,该区域通过aws cognito用户池进行管理。这很好 我们在公共区域遇到问题,不需要任何身份验证 我们如何保护这些公共端点? 我们对硬编码api键(我们知道可以旋转)有一些疑问,这是一个好的实践吗(文档页面说它不适合生产) 有没有办法授权原产地?(也就是说,任何来自www.foobar.baz的请求都可以)我建议使用Amazon Cognoto Federated Identity

Amazon web services fargate上的AWS docker-可以选择不同的内核吗?

我需要另一个运行docker的ubuntu内核(在fargete上)。 这是必需的,因为我需要在docker中安装不能安装在aws内核上的依赖项,实际上我需要通用ubuntu。这可行吗?找不到对此的引用。否。Fargate将您锁定到,其中包括他们选择使用的内核 AWS Fargate平台版本用于引用Fargate任务基础设施的特定运行时环境。它是内核和容器运行时版本的组合 如果您使用EC2启动类型,而不是FARGATE启动类型,那么您将控制底层EC2主机,然后您可以选择您喜欢的任何操作系统/内核

Amazon web services 在MacBook Pro上安装EFS

当您提到使用HAProxy在AWS外部安装EFS的旧帖子时,我想您可能会提到一些。从本质上讲,这仍然是实现这一目标的唯一途径 EFS文件系统仅设计用于单个VPC内或AWS Direct Connect之间。任何其他应用程序仍然需要代理,并且官方称其“不受支持”(但工作正常)。当您提到使用HAProxy在AWS外部安装EFS的旧帖子时,我想您可能会提到。从本质上讲,这仍然是实现这一目标的唯一途径 EFS文件系统仅设计用于单个VPC内或AWS Direct Connect之间。任何其他应用程序仍然需

Amazon web services 为第三方身份提供商创建AWS IAM策略/角色

我已成功地在AWS中配置了一个身份提供程序,允许我使用IdP(Auth0)授予的id\u令牌访问S3(和其他)资源 我想采取的最后一步是在AWS中配置更细粒度的访问控制,方法是根据id\u令牌中的声明限制对S3 bucket的访问。目前,IdP发布的任何有效令牌都提供访问权限。我可以在Auth0中轻松地为不同的用户指定自定义声明(角色),但无法确定如何在AWS IAM策略或角色中检查这些字段 以下是我所遵循的非常有帮助和详细的指南,以达到我的目的: 这可能吗 编辑 我看到了这个问题,我并没有使用

Amazon web services Aws KInesis Terraform-如何将数据流连接到数据消防软管

我想使用terraform、Kinesis数据流和数据消防软管创建并连接它们(作为管道)。当我使用UI时,当我转到firehose时,我可以转到source->Kinesis stream,并选择我创建的Kinesis stream。但我想用地形来做 这是创建kinesis流的代码(我从官方的kinesis文档中获取): 这是数据消防软管的代码: resource "aws_elasticsearch_domain" "test_cluster" { domain_name = "fireh

Amazon web services 加密EKS中的流量

我正在建立一个 EKSAWS上的集群,我想保护Kuberentes集群中的所有飞行数据(以及EKS和外部系统之间的数据,但这超出了本文的范围) 在Kubernetes中,不同的POD之间使用不同的协议,主要是Rest/HTTP,也包括微服务POD与KafkaBroker之间的通信,以及微服务POD与数据库POD之间的JDBC(Zalando Postgres),在filebeat pod和elasticsearch之间 我看到了几个选择,但我一个都不喜欢 单独加密每个通信-->工作量太大。作战

Amazon web services 无法使用API网关和Lambda进行Canary部署

我正在尝试使用API网关的金丝雀部署选项,但我无法这样做。看起来所有的配置都正确完成了,但是当我尝试调用时,我只得到最新的代码版本响应。总而言之,这就是我正在做的: 我有一个名为dev的API网关阶段,其中已经部署了Lambda。我已经在我的基本代码中添加了一个端点,该端点返回当前正在运行的代码的版本 我在API网关控制台的目标阶段(dev)中启用了Canary部署选项 我在代码中进行更改,并更新先前创建的端点中的版本号 我使用预期的金丝雀设置进行新部署(Lambda)。在我的例子中,我使用的流

Amazon web services 在AWS中创建堆栈时处理动态参数值

有人能帮我处理parameter.json文件中的动态“ParameterValue”吗 我正在运行“cloudformation create stack”并传入--parameters一个parameter.json文件,该文件中几乎没有需要动态的“ParameterValue”,例如,时间戳和从循环中附加索引值等等。。。那么,如何修改parameters.json文件来处理动态值呢 我可以使用的另一种方法是不使用parameters.json文件,并将键、值(如下所示)传递给脚本中循环内的

Amazon web services 如果我不应用更新安全包,Amazon AWS会有什么问题吗?

有时我注意到,如果我没有在AWS上的一些EC2实例中应用更新的安全包,那么实例运行速度会变慢。我在不同的机器上反复看到过它。亚马逊是否可能正在为未更新的机器应用某些策略?AWS对您在亚马逊EC2实例上运行的内容一无所知。您负责安装和维护操作系统、应用程序和数据。AWS负责提供支持虚拟机的平台 每个AmazonEC2实例都根据实例类型提供资源(CPU、RAM、网络)。同一实例类型将始终接收相同数量的资源,并且资源不会超额订阅 因此,您可能观察到的任何减速都与实例上运行的操作系统和软件有关。您可以使

Amazon web services Tibco 7.14与使用JDBC驱动程序的Hive EMR(AWS)的连接问题

无法在Tibco Spotfire Analytics Explorer中查看表内容 我已将配置单元EMR jar文件复制到tibco服务器的库文件夹中。服务器启动后,我尝试在Information Designer中配置数据源。我能够设置数据源,并且可以看到模式。但是当我试图扩展表格时,我没有得到任何结果 这是我在这里得到的错误信息 Error message: An issue occurred while creating the default model. It may be part

Amazon web services 如何通过React Native访问Amazon Sagemaker?

我目前正在使用react native构建移动应用程序。我需要访问机器学习模型,以便发送图片进行分割。我希望能够收到一个分段图片回来有背景的图片剪切。我正在尝试使用Amazon Sagemaker(因为它似乎是一个易于使用的软件包,但如果有其他方法,请让我知道) 在Sagemaker《快速入门指南》的步骤5a中,说明: 5a。要在服务器上部署模型并创建可访问的端点,请将以下代码复制到下一个代码单元中,然后选择“运行”: xgb\u predictor=xgb.deploy(初始\u实例\u计数=

Amazon web services 具有无服务器框架的专用API网关

我的内部网络在AWS VPC(10.0.0.0/16)中,我想在这个专用网络中创建AWS API网关,因此没有公共主机名/IP 这是我试过的 service: apollo-lambda1 provider: name: aws runtime: nodejs8.10 role: arn:aws:iam::xxx:role/admin-api-lambda-role region: ap-southeast-1 private: true vpc: securit

Amazon web services 调用CreateLoadBalancer操作时出错(InvalidSubnet):子网ID“MythicalMyFitScorestack:PublicSubnetOne”无效

遵循aws教程,使用Fargate部署动态网站: 在使用命令创建负载平衡器的步骤中: aws elbv2 create-load-balancer --name mysfits-nlb --scheme internet-facing --type network --subnets MythicalMysfitsCoreStack:PublicSubnetOne MythicalMysfitsCoreStack:PublicSubnetTwo > ~/environment/nlb-ou

Amazon web services 名为';的未知运行时版本;corretto8';爪哇的。此构建映像具有以下版本:openjdk11、openjdk8

我正在尝试用aws代码构建构建我的java项目。我的生成失败,并显示此错误消息 java的名为“corretto8”的未知运行时版本。这是一个建筑形象 具有以下版本:openjdk11、openjdk8 使用的构建图像:ubuntu, 运行时使用:corretto8此错误是由于尝试将java运行时corretto8与ubuntu标准映像一起使用 如果您对AWS代码构建实例使用“ubuntu标准映像”,那么应该将openjdk8或openjdk11用作java运行时。下面是buildspec.ym

Amazon web services 在性能测试执行期间,aws机器上的IOPS会在一段时间后降低

当我启动AWS节点并检查平均IOPS时,它通常在3000-4000之间。但是在运行测试之后,当我检查AWS节点中的iops时,我看到它不断降低,影响了性能测试的吞吐量。 不确定iops是否会在一段时间后继续下降?有人能在这里引路吗 您是在运行GP2还是PIOPs 如果是GP2,则值得注意的是,他们使用的burstable积分允许高达3000 IOPs。这些积分到期后,IOPs将剩下3倍EBS存储大小(以GB为单位) 因此,例如,50GB的存储将是3 X 50=150 IOPs 本文将帮助您进一步

Amazon web services 使用Terraform通过AWS Systems Manager Automation进行集中式多帐户修补

我正在尝试从我的根帐户修补和管理AWS SSM文档的执行。我正在尝试使用Terraform版本12实现自动化。但我在他们的文档中看不到多账户的支持 我正在尝试设置以下内容: 有人可以帮助我们使用哪种资源吗为了使用自动化文档将修补程序部署到多个帐户,我们需要确保完成以下四个步骤: 1. Create a Resource Group 2. Create an IAM Role for Master Account and an IAM Role for Target(s) account. 3.

Amazon web services AWS实时视频分析-实时对象检测

我需要从IP监控摄像头捕获实时视频流,并实时执行目标检测。我们已经有了用python开发的定制对象检测模型。我们甚至已经将其对接 我有以下问题: AWS Greengrass中是否有任何内置模块或功能可用于从IP监控摄像机捕获实时视频帧?例如,Microsoft Azure已经在物联网边缘上提供了一个名为“实时视频分析”的现成模块。请建议 我们希望按照上面在AWS Greengrass中讨论的那样部署定制的AI模块,以便它能够每秒接收传入的视频帧并返回检测到的人数。需要将输出推送到AWS IoT

Amazon web services 如何禁用amazon lex错误处理?

我想知道如何禁用默认情况下启用的处理错误,当用户编写amazon lex无法识别的单词时,我会留下处理错误的图像 谢谢 如果Lex无法确定输入的意图,那么它将出错,不会向Lambda发送任何信息,并将错误处理消息直接返回到输出通道,直接返回给用户 要自定义或捕获Lex控制台设置中可用选项之外的Lex错误处理,您必须在用户和Lex之间构建自己的中继或代理 您必须自己双向构建输入和输出格式。例如,传入的Facebook Messenger JSON格式必须经过解析和重新格式化,并通过或发送给Lex。

Amazon web services AWS KMS和Secret Manager有什么区别

我试图了解两个AWS工具是否用于不同的用途。如果有人知道应该使用KMS和Secret Manager的不同场景,请让我知道。提前感谢您,如果答案显而易见,我深表歉意(我仍在学习)。KMS用于管理加密密钥。其他服务与KMS集成以提供数据加密功能 机密管理器用于存储机密,如密码。机密管理器在存储密码时使用KMS加密密码。谢谢,您的回答很有帮助!这个问题是有道理的,但最好做一些“谷歌搜索”研究,找出每一项服务的作用。对于这些AWS中的每一个,都提供了常见问题解答,并且很明显它们都在做什么。

Amazon web services 使用AWS Rekognition或Google Vision API的位模糊文本OCR

有没有办法提高使用AWS Rekognion或Google Vision api提取模糊文本的可信度 是否有任何方法可以使用AWS Rekognion或Google Vision api对模糊文本文档中的文本检测模型进行训练?您需要使用单词置信度过滤器。它基本上可以帮助您删除由于模糊/污迹而可能不可靠的结果。请阅读标签的说明。

Amazon web services 将CloudWatch与VPC端点一起使用(PrivateLink)

我已经阅读了AWS关于VPC和CloudWatch资源之间联系的文档,但我还没有真正理解其目标是什么 这是否保护了VPC和CloudWatch之间的数据传输? 还是因为一个VPC实例和CloudWatch之间的通信需要互联网 向CloudWatch发送数据是否需要具有Internet连接的VPC?通常,要与CloudWatch(CW)通信,例如在使用CloudWatch代理时,您的实例必须能够连接到CW公共端点。对于CW,端点为 这些是常规的HTTP/HTTPS公共端点,这意味着您的实例通常需要

Amazon web services 我的后端服务真的需要API网关和应用程序负载平衡器(ALB)吗

我已将ALB配置为ECS Fargate。我有与InternetGateway关联的子网和路由表的VPC设置。所以,我的ALB有一个DNS,我可以从任何HTTP客户端访问 现在,我想在我的ALB上添加一个API网关(代理),这样我就可以在我的API响应中添加一些额外的安全头(严格的传输安全、内容安全策略等),这是我从渗透测试反馈中得到的 现在,我有一个由两部分组成的问题。第一,我真的需要添加这些额外的头文件来提高API的安全性吗?第二,在ALB上添加API网关层只是一种冗余

Amazon web services S3一个存储桶的IAM策略不授予访问权限

有人能解释一下为什么这个政策不起作用吗? 我想要的是:IAM用户的完全S3控制,但限制为两个存储桶,由他们的ARN定义。 在尝试从服务器上载AWS SDK时,我总是被拒绝访问。 谢谢这里有一些可能性,如果不看完整的设置,很难判断 存在一个明确拒绝该操作的bucket策略 Bucket已加密,用户缺少KMS权限 存在优先的冲突策略,如SCP策略。尝试使用,它不是100%准确,但它可以给出提示 您还可以使用CloudTrail跟踪用户进行的所有API调用,并确定哪个调用失败 另外,您应该能够通过组合

Amazon web services Can';t使用Lightsail连接AWS集装箱服务';s私有域

我在AWS Lightsail上创建了一个Ubuntu(20.04 LTS)实例,并在其上安装了nginx(1.18.0)。我还成功地将docker映像发布到AWS Lightsail容器服务,当启用公共端点时,该服务工作正常。然而,我不想向公众公开这个服务,而是在我的Ubuntu实例上通过反向代理将流量路由到它 我的问题是,当我尝试从Ubuntu实例中卷曲容器服务的私有域(.service.local:)时,我得到的无法解析主机servicename.service.local。根据“私有域”

上一页   1   2   3   4    5   6  ... 下一页 最后一页 共 1277 页