多线程中的错误共享

Question

当我增加NTHREADS时，以下代码运行速度会变慢。为什么使用更多的线程会使程序运行速度变慢？有什么办法可以解决吗？有人说这是虚假分享，但我不太明白这个概念。

该程序基本上计算从1到100000000的总和。使用多线程的想法是将数字列表分成几个块，并并行计算每个块的总和以使计算更快。

#include <stdio.h>
#include <stdlib.h>
#include <pthread.h>

#define LENGTH 100000000
#define NTHREADS 2
#define NREPEATS 10
#define CHUNCK (LENGTH / NTHREADS)

typedef struct {
        size_t id;
        long *array;
        long result;
} worker_args;

void *worker(void *args) {

        worker_args *wargs = (worker_args*) args;

        const size_t start = wargs->id * CHUNCK;
        const size_t end = wargs->id == NTHREADS - 1 ? LENGTH : (wargs->id+1) * CHUNCK;

        for (size_t i = start; i < end; ++i) {
                wargs->result += wargs->array[i];
        }

        return NULL;
}

int main(void) {

        long* numbers = malloc(sizeof(long) * LENGTH);
        for (size_t i = 0; i < LENGTH; ++i) {
                numbers[i] = i + 1;
        }

        worker_args *args = malloc(sizeof(worker_args) * NTHREADS);

            for (size_t i = 0; i < NTHREADS; ++i) {
                    args[i] = (worker_args) {
                            .id = i,
                            .array = numbers, 
                            .result = 0
                    };
            }

            pthread_t thread_ids[NTHREADS];

            for (size_t i = 0; i < NTHREADS; ++i) {
                    pthread_create(thread_ids+i, NULL, worker, args+i);
            }

            for (size_t i = 0; i < NTHREADS; ++i) {
                    pthread_join(thread_ids[i], NULL);
            }

            long sum = 0;

            for (size_t i = 0; i < NTHREADS; ++i) {
                sum += args[i].result;
            }

            printf("Run %2zu: total sum is %ld\n", n, sum);

        free(args);
        free(numbers);
}

Answer 1

为什么使用更多的线程会使程序运行速度变慢？

创建和连接线程会产生开销。如果线程没有太多事情要做，那么这种开销可能比实际工作更昂贵。

您的线程只做一个简单的求和，这并不昂贵。还要考虑到，从 10 个线程增加到 11 个线程并不会大幅改变每个线程的工作负载。

10 个线程 --> 每个线程 10000000 总和

11 个线程 --> 每个线程 9090909 总和

创建额外线程的开销可能会超过每个线程“节省的工作负载”。

在我的 PC 上，该程序的运行时间不到 100 毫秒。多线程不值得这么麻烦。

在值得执行多线程之前，您需要执行更密集的处理任务。

另请注意，创建比计算机拥有的核心数量（包括超线程）更多的线程几乎没有意义。

虚假分享

是的，“错误共享”可能会影响多线程程序的性能，但我怀疑这是您案例中的真正问题。

当两个线程（或者更确切地说两个核心）写入属于同一缓存行的两个不同变量时，（某些）缓存系统中会发生“错误共享”。在这种情况下，两个线程/核心竞争拥有缓存行（用于写入），因此，它们必须一次又一次地刷新内存和缓存。这对性能不利。

正如我所说 - 我怀疑这是你的问题。聪明的编译器将仅使用 CPU 寄存器来执行循环，并且仅在最后写入内存。您可以检查代码的反汇编，看看是否是这种情况。

您可以通过增加结构的 sizeof 来避免“错误共享”，以使每个结构适合系统上缓存行的大小。