在 AWS ECS 上使用 docker-compose 进行 Continuos Deploy 的最佳实践

Question

我是 ECS 新手，对于如何使用docker-compose包含多个服务的文件自动在 AWS ECS Fargate 中进行部署，我有些困惑。

我能够通过以下步骤执行从 git Push 到部署单个容器的端到端：

1. 创建 AWS ECR
2. 标记 docker 镜像
3. 创建代码提交
4. 创建代码构建
5. 创建代码部署
6. 创建带有任务描述的集群
7. 创建管道以连接之前的所有内容并自动化直到最后。
8. 完毕

但是当您拥有多项服务时会发生什么？

1. 我是否需要修改该docker-compose文件才能兼容 ECS？如果是这样，如果整个项目都在一个文件夹中（pydanny cookiecutter 结构），我如何分离存储库？
2. 我是否必须为我的每项服务创建一个 ECR 存储库docker-compose？
3. 自动化每个 ECR 的标记和推送以及各自的部署以实现完整的端到端流程的步骤是什么？
4. 如何修改docker-composeECS 上的卷？

我使用pydanny cookiecutter生成的以下 docker-compose 文件，它有 7 个服务：

Django+ Postgres+ Redis+ Celery+ Celeryworker+ Celerybeat+Flower

docker-compose.yml

version: '3'

volumes:
  local_postgres_data: {}
  local_postgres_data_backups: {}

services:
  django: &django
    build:
      context: .
      dockerfile: ./compose/local/django/Dockerfile
    image: test_cd_django
    depends_on:
      - postgres
    volumes:
      - .:/app
    env_file:
      - ./.envs/.local/.django
      - ./.envs/.local/.postgres
    ports:
      - "8000:8000"
    command: /start

  postgres:
    build:
      context: .
      dockerfile: ./compose/production/postgres/Dockerfile
    image: test_cd_postgres
    volumes:
      - local_postgres_data:/var/lib/postgresql/data
      - local_postgres_data_backups:/backups
    env_file:
      - ./.envs/.local/.postgres

  redis:
    image: redis:3.2

  celeryworker:
    <<: *django
    image: test_cd_celeryworker
    depends_on:
      - redis
      - postgres

    ports: []
    command: /start-celeryworker

  celerybeat:
    <<: *django
    image: test_cd_celerybeat
    depends_on:
      - redis
      - postgres

    ports: []
    command: /start-celerybeat

  flower:
    <<: *django
    image: test_cd_flower
    ports:
      - "5555:5555"
    command: /start-flower

非常感谢您的帮助。

Answer 1

这取决于您是否想使用 docker-compose 来执行所有操作。如果您想使用 docker-compose 进行构建、推送和拉取，则需要imagedocker-compose.yml 中的块与 ECR 地址匹配。例如

image: ${ID}.dkr.ecr.${region}.amazonaws.com/${image_name}:${image_tag:-latest}

我是否必须为 docker-compose 的每个服务创建一个 ECR 存储库？

您不必为每个服务创建 ECR 存储库，而是为您构建的每个映像创建 ECR 存储库。就您而言，您不必创建存储库redis，但必须为 django 和 postgres 创建存储库，因为您是使用 Dockerfile 构建它们。celeryworker 和 celerybeat 使用 django 映像启动，因此您无需为它们创建额外的存储库。

自动化每个 ECR 的标记和推送以及各自的部署以实现完整的端到端流程的步骤是什么？

这里我只能提供一些建议，具体取决于你的设置。我倾向于尽可能保持对云服务的不可知论。您可以docker-compose.yml按如下方式定义图像：

services:
  postgres:
    image: ${ID}.dkr.ecr.${region}.amazonaws.com/my_postgres:${image_tag:-latest}
  django:
    image: <theID>.dkr.ecr.<theRegion>.amazonaws.com/my_django:${image_tag:-latest}

然后.env在构建过程中简单地准备一个包含您需要的信息的文件。例如

image_tag=1.2.0

如何修改 docker-compose 的卷以在 ECS 上工作？

不幸的是，我无法回答这个问题，我找到了以下答案： https ://devops.stackexchange.com/questions/6228/using-volumes-on-aws-fargate