最大消息长度 MPI_Type_vector 和 MPI_Gather

Question

当我尝试将具有超过 750 个元素的double 类型的数组收集到表示矩阵的数组中时，我收到错误消息“MPI_Gather 中发生错误” 。正在收集的数组应该表示矩阵的列，并且由于矩阵的构造使得行在内存中是连续的，因此我将派生数据类型定义为列向量并称为 MPI_Gather，如下所示：

for (i = 0; i < k; i++) {
    MPI_Gather(&Q_vector[i*m], m, MPI_DOUBLE, &Q[i*size], 1, vector_m, 0, MPI_COMM_WORLD);
}

其中k是向量数，m是每个向量的长度（矩阵中的行数），size是进程数，vector_m是派生数据类型，其构造如下：

MPI_Type_vector(m, 1, n, MPI_DOUBLE, &vector_m_type);
MPI_Type_create_resized(vector_m_type, 0, sizeof(double), &vector_m);
MPI_Type_commit(&vector_m);

其中n是矩阵中的列数。

这在m > 750之前都可以正常工作。例如，如果m = 751，则会发生错误（751 个 double 类型的元素）。它不依赖于n的值。我完全改变了算法，以便矩阵的列连续存储在内存中，而不是通过完全避免派生数据类型来解决问题，但我仍然很好奇为什么会发生这种情况。

电脑规格：

CPU：Intel(R) Core(TM) i7-4790K CPU @ 4.00GHz

内存：8GB

操作系统：Windows 10 家庭版 64 位

编译器：gcc 6.4.0

我使用 Cygwin。

有时会打印此错误消息：

" MPI_Gather 中发生错误，由进程 [52635822596882433,77309411328] 在通信器 MPI_COMM_WORLD 上报告

MPI_ERR_IN_STATUS：状态 MPI_ERRORS_ARE_FATAL 中的错误代码（此通信器中的进程现在将中止，并且可能中止您的 MPI 作业）“

重现错误的最小工作示例代码：

#include <stdio.h>
#include <mpi.h>
#include <stdlib.h>

int main(int argc, char *argv[]) {
    int n, m, size, rank, i, j, k;
    double *Q, *Q_vector;
    MPI_Datatype vector_m_type, vector_m;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &size);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);

    m = atoi(argv[1]);
    n = atoi(argv[2]);

    if (rank == 0) {
        Q = (double *)malloc(m*n*sizeof(double));
        for (i = 0; i < m; i++) {
            for (j = 0; j < n; j++) {
                Q[i*n+j] = drand48()*10;
            }
        }
    }

    // k = number of (column) vectors per process
    k = n/size;
    Q_vector = (double *)malloc(k*m*sizeof(double));

    MPI_Type_vector(m, 1, n, MPI_DOUBLE, &vector_m_type);
    MPI_Type_create_resized(vector_m_type, 0, sizeof(double), &vector_m);
    MPI_Type_commit(&vector_m);

    for (i = 0; i < k; i++) {
        MPI_Scatter(&Q[i*size], 1, vector_m, &Q_vector[i*m], m, MPI_DOUBLE, 0, MPI_COMM_WORLD);
    }

    for (i = 0; i < k; i++) {
        MPI_Gather(&Q_vector[i*m], m, MPI_DOUBLE, &Q[i*size], 1, vector_m, 0, MPI_COMM_WORLD);
    }

    if (rank == 0) {
        printf("Success!\n");
        free(Q);
    }
    free(Q_vector);

    MPI_Finalize();
}

编译并运行如下：

mpicc -o test MPI_Type_vector_test.c -lmpi -lm
mpirun -np 8 ./test 751 750

Answer 1

这是Open MPI 中的一个已知问题，当集体操作使用匹配签名但使用不同数据类型（例如，一方面使用一个向量，另一方面使用多个元素）时，就会发生这种问题。

解决此问题的最简单方法是禁用coll/tuned模块

mpirun --mca coll ^tuned -np 8 ./test 751 750

另一种选择是重写您的代码并使用描述行的其他派生数据类型（而不是使用m元素）