Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/docker/10.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Docker 停靠芹菜工人未从Localstack SQS队列拾取任务_Docker_Flask_Celery_Python 3.6_Localstack - Fatal编程技术网

Docker 停靠芹菜工人未从Localstack SQS队列拾取任务

Docker 停靠芹菜工人未从Localstack SQS队列拾取任务,docker,flask,celery,python-3.6,localstack,Docker,Flask,Celery,Python 3.6,Localstack,我正在用芹菜构建一个烧瓶应用程序,用于背景任务。我的应用程序使用docker容器中运行的localstack为我的MessageBroker在本地模拟SQS。我已经让flask和Cellery在本地运行,以正确使用localstack,在这里我可以看到flask接收到请求,向SQS队列添加消息,然后Cellery接收并执行该任务 我已经尝试将flask和芹菜与localstack一起dockerize,我的所有服务都按预期运行,芹菜工人除外,芹菜工人不执行队列中的任务。我可以在本地启动芹菜工人来

我正在用芹菜构建一个烧瓶应用程序,用于背景任务。我的应用程序使用docker容器中运行的localstack为我的MessageBroker在本地模拟SQS。我已经让flask和Cellery在本地运行,以正确使用localstack,在这里我可以看到flask接收到请求,向SQS队列添加消息,然后Cellery接收并执行该任务

我已经尝试将flask和芹菜与localstack一起dockerize,我的所有服务都按预期运行,芹菜工人除外,芹菜工人不执行队列中的任务。我可以在本地启动芹菜工人来读取队列并执行任务,但docker芹菜工人不会提取任何任务

在烧瓶容器中运行芹菜工人得到了相同的结果,并添加了一些参数,如我在本文中发现的
--without gossip

我是否在docker架构中遗漏了一些使芹菜无法从SQS队列中取出的东西

这是我的docker-compose.yml:


services:
  dev:
    build:
      context: .
      dockerfile: 'dev.Dockerfile'
    ports:
    - "5050:5000"
    restart: always
    volumes:
    - .:/app
    environment:
    - GUNICORN_CMD_ARGS="--reload"
    - docker_env=true
    stdin_open: true
    tty: true
    command: ./entrypoint.sh
    depends_on: 
      - localstack

  # mimics AWS services locally
  localstack:
    image: localstack/localstack:latest
    ports:
      - '4561-4599:4561-4599'
      - '8080:8080'
    environment:
      - SERVICES=sqs
      - DEBUG=1
      - DATA_DIR=/tmp/localstack/data
    volumes:
      - './.localstack:/tmp/localstack'
    restart: always

  celery:
    build:
      context: .
      dockerfile: 'dev.Dockerfile'
    volumes:
      - .:/app
    environment: 
      - docker_env=true
    stdin_open: true
    tty: true
    command: ./celeryworker.sh
    restart: always
    links:
      - localstack
    depends_on:
      - localstack


volumes:
  .:
dev.dockerfile:

FROM python:3.6

USER root

# Environment Variables
ENV HOST 0.0.0.0
ENV PORT 5000

# Install Packages
COPY requirements.txt /requirements.txt

RUN /bin/bash -c "python3 -m venv docker \
    && source docker/bin/activate \
    && pip3 install --upgrade pip \
    && pip3 install -r requirements.txt"

# Source Code
WORKDIR /app
COPY . .
COPY app/gunicorn_config.py /deploy/app/gunicorn_config.py
COPY entrypoint.sh /bin/entrypoint.sh
COPY celeryworker.sh /bin/celeryworker.sh


USER nobody

EXPOSE 5000
CMD ["bash"]
entrypoint.sh:

source ../docker/bin/activate
gunicorn -c app/gunicorn_config.py --bind 0.0.0.0:5000 'app:create_app()'
芹菜工人

source ../docker/bin/activate
celery worker -A app.celery_worker.celery
celeryconfig.py

import os

BROKER_URL = 'sqs://fake:fake@localhost:4576/0'     # local sqs
# BROKER_URL = 'redis://localhost:6379/0'     # local redis
# RESULT_BACKEND = 'redis://localhost:6379/0'     # local redis
if os.getenv('docker_env', 'local') != 'local':
    BROKER_URL = 'sqs://fake:fake@localstack:4576/0'

BROKER_TRANSPORT_OPTIONS = {'queue_name_prefix': 'app-'}

我在本地使用相同的命令,一切都按预期运行。我还重新创建了本地虚拟环境,以确保我的
requirements.txt中没有多余的包

通过在localstack环境变量中设置
主机名
主机名\u EXTERNAL
解决了这个问题。通过在
localhost
localstack
之间更改这两个参数,我可以让本地或docker芹菜工人来完成任务