小编Dal*_*ler的帖子

Docker 容器中的并行代码执行

我有一个通过 URLslist 抓取数据的脚本。该脚本在 docker 容器中执行。我想在多个实例中运行它,例如 20。为此,我想使用docker-compose scale worker=20并将 INDEX 传递给每个实例,以便脚本知道应该抓取哪些 URL哪些 URL 。

例子。

ID, URL
0 https://example.org/sdga2
1 https://example.org/fsdh34
2 https://example.org/fs4h35
3 https://example.org/f1h36
4 https://example.org/fs4h37
...
Run Code Online (Sandbox Code Playgroud)

如果有 3 个实例,第一个脚本实例应处理 ID 等于 0、3、6、9 的 url,即 ID = INDEX + INSTANCES_NUM * k。

我不知道如何将 INDEX 传递给在 Docker 容器中运行的脚本。当然,我可以在环境变量中使用不同的 INDEX 复制 docker-compose.yml 中的服务。但如果实例数大于 10 甚至 50,这将是一个非常糟糕的解决方案)

有谁知道怎么做?

scaling docker docker-compose

5
推荐指数
1
解决办法
4847
查看次数

标签 统计

docker ×1

docker-compose ×1

scaling ×1