Xeon Phi 上每 60 个线程 pthread_create() 就会失败（参数无效）

Question

我在这里将一段 pthread 代码列为函数“thread”。它基本上创建许多线程（Xeon Phi 上通常为 240 个，CPU 上通常为 16 个），然后连接它们。

如果我只调用这个 thread() 一次，它在 CPU 和 Xeon Phi 上都能完美运行。如果我再调用一次，它在 CPU 上仍然可以正常工作，但 pthread_create() 将报告“错误 22”，每 60 个线程应该是“无效参数”。

例如，第二次运行 thread() 的线程 0、线程 60、线程 120 等（也是进程中曾经创建的 241、301、361 等线程）将失败（错误 22）。但线程 1~59、61~119、121~240 等可以正常工作。

请注意，此问题仅发生在 Xeon Phi 上。

我检查了堆栈大小和参数本身，但没有找到原因。论据是正确的。

void thread()
{

...

int i, rv;
cpu_set_t set;
arg_t args[nthreads];
pthread_t tid[nthreads];
pthread_attr_t attr;
pthread_barrier_t barrier;

rv = pthread_barrier_init(&barrier, NULL, nthreads);
if(rv != 0)
{
    printf("Couldn't create the barrier\n");
    exit(EXIT_FAILURE);
}

pthread_attr_init(&attr);

for(i = 0; i < nthreads; i++)
{
    int cpu_idx = get_cpu_id(i,nthreads);

    DEBUGMSG(1, "Assigning thread-%d to CPU-%d\n", i, cpu_idx);

    CPU_ZERO(&set);
    CPU_SET(cpu_idx, &set);
    pthread_attr_setaffinity_np(&attr, sizeof(cpu_set_t), &set);

    args[i].tid = i;
    args[i].ht = ht;
    args[i].barrier = &barrier;

    /* assing part of the relR for next thread */
    args[i].relR.num_tuples = (i == (nthreads-1)) ? numR : numRthr;
    args[i].relR.tuples = relR->tuples + numRthr * i;
    numR -= numRthr;

    /* assing part of the relS for next thread */
    args[i].relS.num_tuples = (i == (nthreads-1)) ? numS : numSthr;
    args[i].relS.tuples = relS->tuples + numSthr * i;

    numS -= numSthr;

    rv = pthread_create(&tid[i], &attr, npo_thread, (void*)&args[i]);
    if (rv)
    {
        printf("ERROR; return code from pthread_create() is %d\n", rv);
        printf ("%d %s\n", args[i].tid, strerror(rv));
        //exit(-1);
    }

}

for(i = 0; i < nthreads; i++)
{
    pthread_join(tid[i], NULL);
    /* sum up results */
    result += args[i].num_results;
}
}

Answer 1

这是一个重现您的问题并显示您的代码最有可能出错的地方的最小示例：

#define _GNU_SOURCE
#include <pthread.h>
#include <err.h>
#include <stdio.h>

void *
foo(void *v)
{
        printf("foo\n");
        return NULL;
}

int
main(int argc, char **argv)
{
        pthread_attr_t attr;
        pthread_t thr;
        cpu_set_t set;
        void *v;
        int e;

        if (pthread_attr_init(&attr))
                err(1, "pthread_attr_init");
        CPU_ZERO(&set);
        CPU_SET(255, &set);
        if (pthread_attr_setaffinity_np(&attr, sizeof(set), &set))
                err(1, "pthread_attr_setaffinity_np");

        if ((e = pthread_create(&thr, &attr, foo, NULL)))
                errx(1, "pthread_create: %d", e);

        if (pthread_join(thr, &v))
                err(1, "pthread_join");
        return 0;
}

正如我在对你的问题的评论中推测的那样，pthread_attr_setaffinity_np不检查 cpu 设置是否正常。相反，该错误被捕获在pthread_create. 由于cpu_get_idgithub 上代码中的功能显然已损坏，因此我将开始寻找问题。

在 Linux 上进行了测试，但这就是pthread_attr_setaffinity_np来自哪里，所以这可能是一个安全的假设。