我有一个通过 URLslist 抓取数据的脚本。该脚本在 docker 容器中执行。我想在多个实例中运行它,例如 20。为此,我想使用docker-compose scale worker=20并将 INDEX 传递给每个实例,以便脚本知道应该抓取哪些 URL哪些 URL 。
例子。
ID, URL
0 https://example.org/sdga2
1 https://example.org/fsdh34
2 https://example.org/fs4h35
3 https://example.org/f1h36
4 https://example.org/fs4h37
...
Run Code Online (Sandbox Code Playgroud)
如果有 3 个实例,第一个脚本实例应处理 ID 等于 0、3、6、9 的 url,即 ID = INDEX + INSTANCES_NUM * k。
我不知道如何将 INDEX 传递给在 Docker 容器中运行的脚本。当然,我可以在环境变量中使用不同的 INDEX 复制 docker-compose.yml 中的服务。但如果实例数大于 10 甚至 50,这将是一个非常糟糕的解决方案)
有谁知道怎么做?