使用 docker-compose 的本地 dask 集群

Question

我想创建一个包含我们公司分析工具链的 docker-compose.yml。为此，我添加了 dask。docker-compoe.yml 如下所示：

docker-compose.yml

version: '3'
services:
  jupyter:
    build: docker/jupyter/.
    ports:
      - "8899:8899"
    depends_on: 
      - dask-scheduler
      - dask-worker
    volumes:
      - ./notebooks:/notebooks

  dask-scheduler:
    build:
      docker/dask/.
    hostname: dask-scheduler
    ports:
      - "8786:8786"
      - "8787:8787"
    volumes:
      - ./notebooks:/notebooks
    command: ["dask-scheduler"]

  dask-worker:
    build:
      docker/dask/.
    depends_on:
      - dask-scheduler
    volumes:
      - ./notebooks:/notebooks
    command: ["dask-worker", "tcp://dask-scheduler:8786"]

为了构建两个 dask 容器，我使用这个 Dockerfile：

docker/dask/Dockerfile

FROM python:3.7
RUN apt-get update -y && apt-get install -y python3-pip libsnappy-dev
RUN pip install numpy
RUN pip install dask
RUN pip install distributed
RUN pip install fsspec
RUN pip install fastavro
RUN pip install python-snappy
RUN pip install dask[bag]
RUN pip install dask[dataframe]
RUN pip install jupyter-server-proxy

# Dashboard
EXPOSE 8787
# Scheduler
EXPOSE 8786

在我的笔记本中，我使用以下代码片段来连接到调度程序：

version: '3'
services:
  jupyter:
    build: docker/jupyter/.
    ports:
      - "8899:8899"
    depends_on: 
      - dask-scheduler
      - dask-worker
    volumes:
      - ./notebooks:/notebooks

  dask-scheduler:
    build:
      docker/dask/.
    hostname: dask-scheduler
    ports:
      - "8786:8786"
      - "8787:8787"
    volumes:
      - ./notebooks:/notebooks
    command: ["dask-scheduler"]

  dask-worker:
    build:
      docker/dask/.
    depends_on:
      - dask-scheduler
    volumes:
      - ./notebooks:/notebooks
    command: ["dask-worker", "tcp://dask-scheduler:8786"]

=>' http://dask-scheduler:8787/status '

使用容器的IP也不起作用。

这使我能够进行我要求的计算并且工作正常。但不起作用的是仪表板，它应该可以在http://localhost:8787/status上找到。这只是返回

404: Not Found

我的问题1是：我做错了什么？我找到了 --dashboard-address

文档中的参数并尝试了各种组合，但这现在对仪表板的输出进行了任何更改。这就是我的第二个问题：

为什么该参数在调度程序和工作线程中可用

最后我需要做哪些改变才能使其发挥作用？在 Mac OS 版本 2.3.0.3 和 Engine 19.03.8 上使用 Docker Desktop Community

感谢您的任何提示。

Answer 1

经过长时间的调试，我终于可以在运行之前的环境中打破它。鉴于bokeh="==2.0.2"按预期显示了仪表板。但是在我的 Pipefile 中使用最新版本bokeh="==2.1.0"显示了相应的错误消息。也许它也是各种包的不同版本的组合。

如果其他人发现了这一点：将您的散景版本修复为 2.0.2 以恢复仪表板。使用没有固定版本的最新版本会破坏它。所以它与 docker 或 docker-compose 无关。

编辑：它现在已在最新的 dask 版本 2.19.0 中修复 - 因此更新您的 dask 依赖项也应该有效。