OpenMP 宏如何与预处理器/编译器和库本身在幕后协作？

Question

我正在尝试为我的一个项目实现类似的功能，我想知道它是如何工作的。

例如，我想知道#pragma omp parallel default(shared) private(iam, np)从编译器/处理器的角度来看以下示例如何工作？我引用编译器是因为我读过#pragma宏是为了向编译器提供辅助信息。如果我考虑到所有宏都是由预处理器处理的，这会让我感到非常困惑。

宏是如何扩展的以及 OpenMP 库如何访问这些宏中的信息？OpenMP 是否使用特定的编译器扩展来为其支持的每个编译器获取这些信息，或者只是简单的宏调用？

#include <stdio.h>
#include <mpi.h>
#include <omp.h>

int main(int argc, char *argv[])
{
    int numprocs, rank, namelen;
    char processor_name[MPI_MAX_PROCESSOR_NAME];
    int iam = 0, np = 1;

    MPI_Init(&argc, &argv);
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Get_processor_name(processor_name, &namelen);

    #pragma omp parallel default(shared) private(iam, np)
    {
        np = omp_get_num_threads();
        iam = omp_get_thread_num();
        printf("Hybrid: Hello from thread %d out of %d from process %d out of %d on %s\n",
                iam, np, rank, numprocs, processor_name);
    }

    MPI_Finalize();

    return 0;
}

我从这里得到了这个例子。

Answer 1

例如，我想知道从编译器/处理器的角度来看，#pragma omp parallel default(shared) private(iam, np) 在以下示例中如何工作？

这强烈依赖于编译器的实现。实际上，对于 Clang 和 GCC（可能还有 ICC），pragma 注释向编译器步骤提供信息，使其能够在前端传递中转换代码。简单来说，编译器的前端负责预处理、分词、句法分析和语义分析，而后端则负责优化和代码生成。

对于大多数步骤，主流编译器使您能够获得临时输出中间代码。例如，Clang 和 GCC 有-E用于预处理器和-S代码生成的标志。低级中间表示 (IR) 更依赖于编译器实现，因此标志不相同（优化和中间语言也不一样）。GCC 使用 GENERIC/GIMPLE 语言进行高级 IR，而 Clang 使用 LLVM IR 语言。AFAIK，可以使用标志转储 GIMPLE 代码-fdump-*。对于 Clang，-emit-llvm可用于转储 IR 代码。

在 Clang 中，转换是在 AST 生成之后、第一个 IR 生成之前完成的。请注意，其他一些编译器会执行 AST 转换，而其他一些编译器会在后面的步骤中执行此操作。当 OpenMP 启用时（使用-fopenmp），Clang 会用 替换 pragma 区域，并__kmpc_fork_call为该区域生成一个函数，并将其传递给 KMP 函数。KMP 是 Clang 和 ICC 共享的 IOMP 运行时的前缀。GCC 有自己的运行时，称为 GOMP。还有很多其他运行时，但主流的是 GOMP 和 IOMP。GOMP_parallel另请注意，GCC 通过调用运行时提供的生成函数来使用类似的策略。IOMP/GOMP 运行时负责在调用编译器生成的函数之前初始化区域和 ICV。

请注意，处理器不知道 OpenMP 的使用（至少不知道我知道的所有 OpenMP 实现）。

宏是如何扩展的以及 OpenMP 库如何访问这些宏中的信息？

请注意，pragma 注释不是宏，还有比宏更强大的功能：它们向编译器提供信息，编译器可以在任何编译步骤期间执行重要的更改。例如，编译指示可以改变代码生成的执行方式，而这对于预处理器宏来说是不可能的（例如，#pragma GCC unroll nGCC 中的 for 循环展开以及#pragma ivdep告诉 ICC 不存在支持自动向量化的循环携带依赖项）。

这些信息像编译器生成的用户函数一样作为参数（即和）传递给主运行时 fork 函数。__kmpc_fork_callGOMP_parallel

OpenMP 是否使用特定的编译器扩展来为其支持的每个编译器获取这些信息，或者只是简单的宏调用？

这不仅仅是简单的宏调用，据我所知，GCC 和 Clang 没有外部模块。它们直接集成到编译器（尽管它可能是模块化的，尤其是对于 Clang）。这很重要，因为编译器需要在编译时分析编译指示注释。编译指示不仅仅是自动生成运行时调用并使用标准语言/接口对其进行抽象的一种方法，它们还会影响编译器步骤。例如，#pragma omp simd应该影响编译器的自动矢量化优化步骤（后端步骤）。

AFAIK，有一些（研究）OpenMP 实现基于源到源编译，因此独立于编译器，但我不确定它们支持所有 OpenMP 功能（尤其是 SIMD 功能）。