标签: python-c-api

关于如何加快距离计算的建议

考虑以下课程:

class SquareErrorDistance(object):
    def __init__(self, dataSample):
        variance = var(list(dataSample))
        if variance == 0:
            self._norm = 1.0
        else:
            self._norm = 1.0 / (2 * variance)

    def __call__(self, u, v): # u and v are floats
        return (u - v) ** 2 * self._norm
Run Code Online (Sandbox Code Playgroud)

我用它来计算矢量的两个元素之间的距离.我基本上为使用此距离度量的向量的每个维度创建该类的一个实例(存在使用其他距离度量的维度).分析表明,__call__这个类的功能占我实现的90%的运行时间(谁会想到).我认为没有任何纯Python方法可以加快速度,但是如果我用C实现它呢?

如果我运行一个简单的C程序,只使用上面的公式计算随机值的距离,它比Python快几个数量级.所以我尝试使用ctypes并调用一个执行计算的C函数,但显然参数和返回值的转换非常昂贵,因为生成的代码要慢得多.

我当然可以在C中实现整个knn并且只是调用它,但问题是,就像我描述的那样,我对向量的某些维度使用不同的距离函数,并且将这些函数转换为C将是太多的工作.

那么我有什么选择呢?使用Python C-API编写C函数会消除开销吗?有没有其他方法可以加快计算速度?

python performance python-c-api

6
推荐指数
1
解决办法
468
查看次数

将PyArrayObject数据类型转换为C数组

我想在C扩展中使用我的Numpy数组.在这种情况下,许多示例使用PyArrayObject的结构,

array->data , array->strides[0] , array->strides[1] , ...

如果我想以更熟悉(或更整洁)的方式到达我的数组,以及像

array[i][j]

我该怎么办呢?我应该使用类型转换(bool*)array-> data并使用我创建的C数组吗?(我的元素是bools)

我现在的功能声明是(当然没有完成)

static PyObject *
xor_masking(PyObject *self, PyObject *args)
{

PyObject *input;
PyObject *mask;
PyObject *adjacency;
PyObject *state;
PyArrayObject *arr_mask;
PyArrayObject *arr_adjacency;
PyArrayObject *arr_state;
PyArrayObject *arr_next_state;

double sum;
int counter_node, n_nodes;

/*  PyArg_ParseTuple
 *  checks if from args, the pointers of type "O" can be extracted, and extracts them
 */

if (!PyArg_ParseTuple(args, "OOO:xor_masking_C", &mask, &adjacency, &state))
    return NULL;

/*
 *  The pointer returned by PyArray_ContiguousFromObject is typecasted to
 * …
Run Code Online (Sandbox Code Playgroud)

python numpy python-c-api

6
推荐指数
1
解决办法
6724
查看次数

PyImport_ImportModule和import语句加载到不同的命名空间?

以下是在C/C++中扩展嵌入式Python 3.x的程序的规范示例:

#include <Python.h>
//// Definition of 'emb' Python module ////////////////////
static PyObject* emb_foo(PyObject *self, PyObject *args)
{
    char const* n = "I am foo";
    return Py_BuildValue("s", n);
}
static PyMethodDef EmbMethods[] = {
    {"foo", emb_foo, METH_VARARGS, "Returns foo"},
    {NULL, NULL, 0, NULL}
};
static PyModuleDef EmbModule = {
    PyModuleDef_HEAD_INIT, "emb", NULL, -1, EmbMethods,
    NULL, NULL, NULL, NULL
};
static PyObject* PyInit_emb(void)
{
    return PyModule_Create(&EmbModule);
}
//// Embedded Python with 'emb' loaded ////////////////////
int main()
{
    PyImport_AppendInittab("emb", &PyInit_emb); …
Run Code Online (Sandbox Code Playgroud)

c++ python import python-embedding python-c-api

6
推荐指数
1
解决办法
4459
查看次数

是否有NumPy C API函数将重置布局标志?

我手动修改NumPy数组的形状和步幅,这些数组可能(或可能不)使连续性标志无效.

  1. 我是否必须手动检查步幅是否与您期望的形状和NPY_C_CONTIGUOUS(或NPY_F_CONTIGUOUS)值相匹配?
  2. 是否有一个API函数可以为我执行此操作并自动清除或启用适当的标记?

python numpy python-c-api python-c-extension

6
推荐指数
1
解决办法
127
查看次数

可以切换输入和输出PyFrameObjects是一个很好的延续实现吗?

我对延续感兴趣,特别是在Python的C-API中.根据我的理解,continuation的本质需要不抽象的低级调用约定,以便根据需要操作调用堆栈.我很幸运地遇到了一些散落在这里和那里的例子.在我遇到的几个例子中,这个非抽象是使用聪明的C(假设环境)或自定义程序集完成的.

然而,Python的酷处在于它有自己的由PyFrameObjects 组成的解释器堆栈.假设现在使用单线程应用程序,仅仅切换输入和输出PyFrameObjects以在Python的C-API中实现延续是不是足够了?为什么这些作者甚至会为低级别的东西烦恼呢?

c python continuations coroutine python-c-api

6
推荐指数
1
解决办法
122
查看次数

为什么我需要PyMem_Malloc()的gil?

根据这个讨论,PyMem_Malloc()需要GIL; 但是,如果函数只是别名malloc(),谁在乎呢?

python python-c-api

6
推荐指数
1
解决办法
249
查看次数

什么是Python 3中的PyClass_New等价物?

以前我使用C API创建了一些Python类.当我要使用Python 3+构建旧项目时,它会产生以下编译错误

PyClass_New was not declared in this scope
Py_InitModule was not declared in this scope

等价物是什么?

PyObject *pClassDic = PyDict_New();
PyObject *pClassName = PyBytes_FromString("MyClass");
PyObject *pClass = PyClass_New(NULL, pClassDic, pClassName);
Run Code Online (Sandbox Code Playgroud)

c python python-c-api

6
推荐指数
1
解决办法
1102
查看次数

PyThreadState_SetAsyncExc 没有效果

我正在使用具有多个线程的多个解释器,并且我尝试使用它PyThreadState_SetAsyncExc来停止脚本,但它没有效果:

void stop()
{
    PyThreadState *ts = PyThreadState_Swap(this->tstate);
    PyObject *exc = PyObject_CallObject(PyExc_Exception, Py_BuildValue("(s)", "stopped"));
    int n = PyThreadState_SetAsyncExc(this->tstate->thread_id, exc);
    if(n < 1)
        std::cerr << "Script::stop: thread not found!" << std::endl;
    PyThreadState_Swap(ts);
}
Run Code Online (Sandbox Code Playgroud)

返回值为1,但线程继续运行。为什么?

完整的测试用例:

#include <Python.h>
#include <iostream>
#include <thread>

using namespace std::chrono_literals;

struct Script
{
    Script()
    {
        PyThreadState *ts = PyThreadState_Get();
        this->tstate = Py_NewInterpreter();
        PyThreadState_Swap(ts);
    }

    virtual ~Script()
    {
        if(!this->tstate) return;
        PyThreadState *ts = PyThreadState_Swap(this->tstate);
        Py_EndInterpreter(this->tstate);
        PyThreadState_Swap(ts);
    }

    void run(const char *code)
    {
        PyThreadState *ts = PyThreadState_Swap(this->tstate); …
Run Code Online (Sandbox Code Playgroud)

python python-c-api python-multithreading

6
推荐指数
1
解决办法
827
查看次数

GCOV 版本不匹配 - 预期 700e 得到 408R

在一台装有 GCC 4.4.7/GCOV 4.4.7 的服务器上,我能够成功运行测试。然而,在具有 GCC 4.8.5/GCOV 4.8.5 的不同服务器上,运行测试会导致以下错误:

profiling:/path/to/foo.gcda:Version mismatch - expected 700e got 408R
Run Code Online (Sandbox Code Playgroud)

以下是版本的输出:

$ gcc --version
gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-36)

$ gcov --version
gcov (GCC) 4.8.5 20150623 (Red Hat 4.8.5-36)
Run Code Online (Sandbox Code Playgroud)

经过搜索,这个错误似乎经常是由 gcc 和 gcov 版本不匹配引起的,但我的版本是相同的。

我们最近将此服务器上的 gcc 从 4.4.7 升级到 4.8.5。这个问题似乎是由升级引起的。

我应该提到,我正在测试 Python C 扩展,我认为这与测试普通 C 应用程序有点不同。

我执行以下操作:

export CFLAGS="--coverage"
python setup.py build_ext --inplace
python tests.py
Run Code Online (Sandbox Code Playgroud)

在两台服务器上,第二个命令都会.gcno相应地创建文件。

在 4.4.7 的服务器上,第三个命令将成功创建 .gcda 文件。但是 4.8.5 的服务器打印该错误消息

c python gcc gcov python-c-api

6
推荐指数
1
解决办法
5732
查看次数

PyObject 与 PyTypeObject

我正在尝试构建一个Python-C接口,但是当我查看源代码时,我对PyObject和感到困惑PyTypeObject。有人可以解释一下它们之间的区别吗?如果有人能提供一个例子那就太好了。

c python python-c-api

6
推荐指数
1
解决办法
771
查看次数