Amazon web services 将Cloudwatch日志流式传输到Amazon ES_Amazon Web Services_Amazon Cloudwatch_Elk

Amazon web services 将Cloudwatch日志流式传输到Amazon ES

amazon-web-services

Amazon web services 将Cloudwatch日志流式传输到Amazon ES,amazon-web-services,amazon-cloudwatch,elk,Amazon Web Services,Amazon Cloudwatch,Elk,我正在使用Fargate部署我的应用程序。为了记录容器日志，我使用awslogs作为日志驱动程序。现在我想将日志发送到Amazon ES服务。当我在查看装运通知时，我遇到一张便条，上面提到 Streaming large amounts of CloudWatch Logs data to other destinations might result in high usage charges. 我想知道当我把原木运到麋鹿的时候，我要付多少钱？他们如何定义大额金额我会被收费吗 a）云手

我正在使用Fargate部署我的应用程序。为了记录容器日志，我使用

awslogs

作为日志驱动程序。现在我想将日志发送到Amazon ES服务。当我在查看装运通知时，我遇到一张便条，上面提到

Streaming large amounts of CloudWatch Logs data to other
destinations might result in high usage charges.

我想知道当我把原木运到麋鹿的时候，我要付多少钱？他们如何定义大额金额

我会被收费吗

a）云手表

b）日志驱动程序

c） Lambda函数？是否每个日志行都触发lambda函数

最后，还有可能进一步降低成本吗？

就个人而言，我会在应用程序旁边的另一个容器中运行fluent或fluentbit

您可以将日志直接发送到ES，而无需支付任何cloudwatch费用

编辑

这是最终的解决方案，以防有人正在寻找更便宜的解决方案

在应用程序旁边的另一个容器中运行Fluentd/Fuentbit

使用，我能够使用下面的配置将日志转发到ES

{
    "family": "workflow",
    "cpu": "256",
    "memory": "512",
    "containerDefinitions": [
        {
            "name": "log_router",
            "image": "docker.io/amazon/aws-for-fluent-bit:latest",
            "essential": true,
            "firelensConfiguration": {
                "type": "fluentbit",
                "options":{
                   "enable-ecs-log-metadata":"true"
                }
            },
            "logConfiguration": {
                "logDriver": "awslogs",
                "options": {
                    "awslogs-create-group": "true",
                    "awslogs-group": "your_log_group",
                    "awslogs-region": "us-east-1",
                    "awslogs-stream-prefix": "ecs"
                }
            },
            "memoryReservation": 50
        },
        {
            "name": "ContainerName",
            "image": "YourImage",
            "cpu": 0,
            "memoryReservation": 128,
            "portMappings": [
                {
                    "containerPort": 5005,
                    "protocol": "tcp"
                }
            ],
            "essential": true,
            "command": [
                "YOUR COMMAND"
            ],
            "environment": [],
            "logConfiguration": {
                "logDriver": "awsfirelens",
                "secretOptions": [],
                "options": {
                    "Name": "es",
                    "Host": "YOUR_ES_DOMAIN_URL",
                    "Port": "443",
                    "tls": "On",
                    "Index": "INDEX_NAME",
                    "Type": "TYPE"
                }
            },
            "resourceRequirements": []
        }
    ]
}

log\u路由器

容器收集日志并将其发送到ES。有关更多信息，请参阅

请注意，Fargate需要

log_路由器

容器，但ECS不需要

这是我所知道的最便宜的解决方案，它不涉及Cloudwatch、Lamdas和Kinesis。

就个人而言，我希望在应用程序旁边的另一个容器中运行fluent或fluentbit