将 C 程序转换为 CUDA（最大缩减）

Question

我是 CUDA 的新手并试图掌握基本知识，所以如果我问或说的东西听起来过于简单，我深表歉意。我用 C 编写了一些串行代码，用于生成一个带有随机数的数组，然后在该数组中找到最大值。

    #include <stdio.h>
    #include <stdlib.h> /* srand, rand */
    #include <time.h> /* time */

    #define num 100000

    int *arr,max = -1;

    int getRand() {
        double r1=rand()/(double)RAND_MAX; // Generates value between 0 & 1
        return (r1 * num) + 1;
    }
    void generateRandom(int M) {
        int i;
        for(i=0;i<M;i++) {
            arr[i] = getRand();
        }
    }
    void getMax(int M) {
        int i;
        for(i=0;i<M;i++) {
            if(arr[i] > max)
                max = arr[i];
            }
    }

    int main(int argc, char *argv[] ){
        if (argc == 2) {
            int M;
            /* initialize random seed: */
            srand (time(NULL));
            M = atoi(argv[1]);
            //int arr[M];
            arr = (int*)calloc(M,sizeof(int));;

            //printf("M = %d MAX = %d\n", M, RAND_MAX);

            generateRandom(M);

            getMax(M);

            printf("Max value: %d",max);

        }

        else
            printf("Invalid arguments.");

        return 0;
    }

我现在正在尝试将此代码转换为一个简单的 CUDA 程序。我试着让 generateRandom 函数作为内核运行，但我遇到了内存管理问题。

#include <stdio.h>
#include <stdlib.h> /* srand, rand */
#include <time.h> /* time */
#include <cuda.h>

#define num 100000

int *arr,max = -1;

int getRand() {
    double r1=rand()/(double)RAND_MAX; // Generates value between 0 & 1
    return (r1 * num) + 1;
}
void generateRandom(int M) {
    int i;
    for(i=0;i<M;i++) {
        arr[i] = getRand();
    }
}
__global__ void getMax(int M) {
    int i;
    for(i=0;i<M;i++) {
        if(arr[i] > max)
            max = arr[i];
        }
}

int main(int argc, char *argv[] ){
    if (argc == 2) {
        int M;
        /* initialize random seed: */
        srand (time(NULL));
        M = atoi(argv[1]);
        //int arr[M];
        arr = (int*)calloc(M,sizeof(int));

        //printf("M = %d MAX = %d\n", M, RAND_MAX);

        generateRandom(M);

        getMax<<<1,1>>>(M);

        printf("Max value: %d",max);

    }

    else
        printf("Invalid arguments.");

    return 0;
}

该代码导致以下错误。

cudabasic.cu(23): 警告: 不能在 > 设备函数中直接读取主变量“arr”

cudabasic.cu(23): 警告: 不能在 > 设备函数中直接读取主变量“max”

cudabasic.cu(24): 警告: 不能在 > 设备函数中直接读取主变量“arr”

cudabasic.cu(24)：警告：不能直接在设备函数中写入主变量“max”

我用谷歌搜索错误，发现问题是我将全局变量传递给内核，因此设备无法读取它。根据在线建议，我尝试通过使用指针而不是传递实际变量来解决此问题，但我仍然遇到错误。

#include <stdio.h>
#include <stdlib.h> /* srand, rand */
#include <time.h> /* time */
#include <cuda.h>

#define num 100000

int *arr,max = -1;

int getRand() {
    double r1=rand()/(double)RAND_MAX; // Generates value between 0 & 1
    return (r1 * num) + 1;
}
void generateRandom(int M) {
    int i;
    for(i=0;i<M;i++) {
        arr[i] = getRand();
    }
}
__global__ void getMax(int M, int *dArr, int *dMax) {
    int i = threadIdx.x;
    int a = dArr[i];
    for(i=0;i<M;i++) {
        if(a > dMax)
            dMax = a;
        }
}

int main(int argc, char *argv[] ){
    if (argc == 2) {
        int M;
        /* initialize random seed: */
        srand (time(NULL));
        M = atoi(argv[1]);
        //int arr[M];
        arr = (int*)calloc(M,sizeof(int));
        devArr = (int*)cudaMalloc(M,sizeof(int));

        //printf("M = %d MAX = %d\n", M, RAND_MAX);

        generateRandom(M);

        getMax<<<1,1>>>(M, arr, max);

        printf("Max value: %d",max);

    }

    else
        printf("Invalid arguments.");

    return 0;
}

cudabasic.cu(24)：错误：操作数类型不兼容（“int”和“int *”）

cudabasic.cu(25)：错误：“int”类型的值不能分配给“int *”类型的>实体

有人可以指出我如何最好地做到这一点的正确方向吗？

我是 CUDA 的新手并试图掌握基本知识，所以如果我问或说的东西听起来过于简单，我深表歉意。

Answer 1

我能提供的最好建议是学习一些介绍性的 CUDA 编程材料，例如this。您的代码不仅缺乏对 CUDA 的理解，而且缺乏对基本 C 概念的理解（例如在表达式中使用变量之前必须定义变量。）作为 CUDA 程序员，不要“刷新”您对如何编写正确的 C 的知识或 C++ 代码。如果您在谷歌上搜索诸如“gtc cuda intro”或“gtc cuda optimization”之类的内容，您会找到很好的 CUDA 学习材料。

您所遵循的方法，即采用单线程 C/C++ 代码，并将其转换为使用单个 CUDA 线程运行可能会给您一些关于“学习 CUDA”的温暖和模糊的感觉，但您并没有真正解决任何重要的概念 - 它显示在您现在正在努力处理的代码中。

要获得您提供的最后一段代码，还需要执行更多步骤：

1. 在 CUDA 中，通常不能在主机代码中取消引用设备指针，并且通常不能在设备代码中使用主机指针。这意味着您通常不应将主机指针传递给设备内核：

   getMax<<<1,1>>>(M, arr, max);
                      ^^^  ^^^
   

   您正在arr解决您的问题devArray（尽管您cudaMalloc的设置不正确），我们只需要修复它并通过附加cudaMemcpy操作将主机数据复制到设备来完成它。如果您不确定如何使用像 那样的函数cudaMalloc，不要只是猜测它的方式并使用强制转换将类型强制转换为其他类型 - 这通常表明您没有正确处理它：

   devArr = (int*)cudaMalloc(M,sizeof(int));
   

   而是参考文档。我们还需要max正确处理——它当前是一个主机指针，我们需要该数据的设备副本。

2. 你的内核也有点混乱。由于您仅启动一个 CUDA 线程，因此您的threadIdx.x变量只会（永远）为零：

   int i = threadIdx.x;
   int a = dArr[i];
   

   但是内核中的 for 循环可以工作，我们只需要移动一些行。

3. 尽管您还没有达到可编译、可运行代码的程度，但进行适当的 cuda 错误检查总是一个好主意。我已将我自己的版本添加到下面的代码中。

以下代码解决了上述问题，并且似乎返回了一个合理的结果：

#include <stdio.h>
#include <stdlib.h> /* srand, rand */
#include <time.h> /* time */
#include <cuda.h>

#define num 100000

#define cudaCheckErrors(msg) \
    do { \
        cudaError_t __err = cudaGetLastError(); \
        if (__err != cudaSuccess) { \
            fprintf(stderr, "Fatal error: %s (%s at %s:%d)\n", \
                msg, cudaGetErrorString(__err), \
                __FILE__, __LINE__); \
            fprintf(stderr, "*** FAILED - ABORTING\n"); \
            exit(1); \
        } \
    } while (0)


int *arr,my_max = -1;

int getRand() {
    double r1=rand()/(double)RAND_MAX; // Generates value between 0 & 1
    return (r1 * num) + 1;
}
void generateRandom(int M) {
    int i;
    for(i=0;i<M;i++) {
        arr[i] = getRand();
    }
}
__global__ void getMax(int M, int *dArr, int *dMax) {
    for(int i=0;i<M;i++) {
        int a = dArr[i];
        if(a > *dMax)
            *dMax = a;
        }
}

int main(int argc, char *argv[] ){
    if (argc == 2) {
        int M;
        int *devArr, *devMax;
        /* initialize random seed: */
        srand (time(NULL));
        M = atoi(argv[1]);
        //int arr[M];
        arr = (int*)calloc(M,sizeof(int));
        cudaMalloc(&devArr,M*sizeof(int));
        cudaCheckErrors("cudaMalloc 1 fail");
        cudaMalloc(&devMax,sizeof(int));
        cudaCheckErrors("cudaMalloc 2 fail");
        cudaMemset(devMax, 0, sizeof(int));
        cudaCheckErrors("cudaMemset fail");
        //printf("M = %d MAX = %d\n", M, RAND_MAX);

        generateRandom(M);
        cudaMemcpy(devArr, arr, M*sizeof(int), cudaMemcpyHostToDevice);
        cudaCheckErrors("cudaMemcpy 1 fail");
        getMax<<<1,1>>>(M, devArr, devMax);
        cudaMemcpy(&my_max, devMax, sizeof(int), cudaMemcpyDeviceToHost);
        cudaCheckErrors("cudaMemcpy 2/kernel fail");
        printf("Max value: %d \n", my_max);

    }

    else
        printf("Invalid arguments.");

    return 0;
}

在您理解了上述更改之后，您会想要回到我最初的建议并进行一些有组织的 CUDA 学习。在这一点上，如果您想重新访问最大查找，那么“好”的方法是使用适当的并行减少技术。“归约”是一种采用（大）数据集并作为结果返回单个数字或一小组数字的算法。在数组中查找最大值是“减少”的一个例子。您可以通过研究此内容并完成 CUDA 并行缩减示例代码来了解有关正确 CUDA 并行缩减的更多信息。