考虑以下课程:
class SquareErrorDistance(object):
def __init__(self, dataSample):
variance = var(list(dataSample))
if variance == 0:
self._norm = 1.0
else:
self._norm = 1.0 / (2 * variance)
def __call__(self, u, v): # u and v are floats
return (u - v) ** 2 * self._norm
Run Code Online (Sandbox Code Playgroud)
我用它来计算矢量的两个元素之间的距离.我基本上为使用此距离度量的向量的每个维度创建该类的一个实例(存在使用其他距离度量的维度).分析表明,__call__这个类的功能占我实现的90%的运行时间(谁会想到).我认为没有任何纯Python方法可以加快速度,但是如果我用C实现它呢?
如果我运行一个简单的C程序,只使用上面的公式计算随机值的距离,它比Python快几个数量级.所以我尝试使用ctypes并调用一个执行计算的C函数,但显然参数和返回值的转换非常昂贵,因为生成的代码要慢得多.
我当然可以在C中实现整个knn并且只是调用它,但问题是,就像我描述的那样,我对向量的某些维度使用不同的距离函数,并且将这些函数转换为C将是太多的工作.
那么我有什么选择呢?使用Python C-API编写C函数会消除开销吗?有没有其他方法可以加快计算速度?
我想在C扩展中使用我的Numpy数组.在这种情况下,许多示例使用PyArrayObject的结构,
array->data , array->strides[0] , array->strides[1] , ...
如果我想以更熟悉(或更整洁)的方式到达我的数组,以及像
array[i][j]
我该怎么办呢?我应该使用类型转换(bool*)array-> data并使用我创建的C数组吗?(我的元素是bools)
我现在的功能声明是(当然没有完成)
static PyObject *
xor_masking(PyObject *self, PyObject *args)
{
PyObject *input;
PyObject *mask;
PyObject *adjacency;
PyObject *state;
PyArrayObject *arr_mask;
PyArrayObject *arr_adjacency;
PyArrayObject *arr_state;
PyArrayObject *arr_next_state;
double sum;
int counter_node, n_nodes;
/* PyArg_ParseTuple
* checks if from args, the pointers of type "O" can be extracted, and extracts them
*/
if (!PyArg_ParseTuple(args, "OOO:xor_masking_C", &mask, &adjacency, &state))
return NULL;
/*
* The pointer returned by PyArray_ContiguousFromObject is typecasted to
* …Run Code Online (Sandbox Code Playgroud) 以下是在C/C++中扩展嵌入式Python 3.x的程序的规范示例:
#include <Python.h>
//// Definition of 'emb' Python module ////////////////////
static PyObject* emb_foo(PyObject *self, PyObject *args)
{
char const* n = "I am foo";
return Py_BuildValue("s", n);
}
static PyMethodDef EmbMethods[] = {
{"foo", emb_foo, METH_VARARGS, "Returns foo"},
{NULL, NULL, 0, NULL}
};
static PyModuleDef EmbModule = {
PyModuleDef_HEAD_INIT, "emb", NULL, -1, EmbMethods,
NULL, NULL, NULL, NULL
};
static PyObject* PyInit_emb(void)
{
return PyModule_Create(&EmbModule);
}
//// Embedded Python with 'emb' loaded ////////////////////
int main()
{
PyImport_AppendInittab("emb", &PyInit_emb); …Run Code Online (Sandbox Code Playgroud) 我手动修改NumPy数组的形状和步幅,这些数组可能(或可能不)使连续性标志无效.
NPY_C_CONTIGUOUS(或NPY_F_CONTIGUOUS)值相匹配?根据这个讨论,PyMem_Malloc()需要GIL; 但是,如果函数只是别名malloc(),谁在乎呢?
以前我使用C API创建了一些Python类.当我要使用Python 3+构建旧项目时,它会产生以下编译错误
PyClass_New was not declared in this scope Py_InitModule was not declared in this scope
等价物是什么?
PyObject *pClassDic = PyDict_New();
PyObject *pClassName = PyBytes_FromString("MyClass");
PyObject *pClass = PyClass_New(NULL, pClassDic, pClassName);
Run Code Online (Sandbox Code Playgroud) 我正在使用具有多个线程的多个解释器,并且我尝试使用它PyThreadState_SetAsyncExc来停止脚本,但它没有效果:
void stop()
{
PyThreadState *ts = PyThreadState_Swap(this->tstate);
PyObject *exc = PyObject_CallObject(PyExc_Exception, Py_BuildValue("(s)", "stopped"));
int n = PyThreadState_SetAsyncExc(this->tstate->thread_id, exc);
if(n < 1)
std::cerr << "Script::stop: thread not found!" << std::endl;
PyThreadState_Swap(ts);
}
Run Code Online (Sandbox Code Playgroud)
返回值为1,但线程继续运行。为什么?
完整的测试用例:
#include <Python.h>
#include <iostream>
#include <thread>
using namespace std::chrono_literals;
struct Script
{
Script()
{
PyThreadState *ts = PyThreadState_Get();
this->tstate = Py_NewInterpreter();
PyThreadState_Swap(ts);
}
virtual ~Script()
{
if(!this->tstate) return;
PyThreadState *ts = PyThreadState_Swap(this->tstate);
Py_EndInterpreter(this->tstate);
PyThreadState_Swap(ts);
}
void run(const char *code)
{
PyThreadState *ts = PyThreadState_Swap(this->tstate); …Run Code Online (Sandbox Code Playgroud) 在一台装有 GCC 4.4.7/GCOV 4.4.7 的服务器上,我能够成功运行测试。然而,在具有 GCC 4.8.5/GCOV 4.8.5 的不同服务器上,运行测试会导致以下错误:
profiling:/path/to/foo.gcda:Version mismatch - expected 700e got 408R
Run Code Online (Sandbox Code Playgroud)
以下是版本的输出:
$ gcc --version
gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-36)
$ gcov --version
gcov (GCC) 4.8.5 20150623 (Red Hat 4.8.5-36)
Run Code Online (Sandbox Code Playgroud)
经过搜索,这个错误似乎经常是由 gcc 和 gcov 版本不匹配引起的,但我的版本是相同的。
我们最近将此服务器上的 gcc 从 4.4.7 升级到 4.8.5。这个问题似乎是由升级引起的。
我应该提到,我正在测试 Python C 扩展,我认为这与测试普通 C 应用程序有点不同。
我执行以下操作:
export CFLAGS="--coverage"
python setup.py build_ext --inplace
python tests.py
Run Code Online (Sandbox Code Playgroud)
在两台服务器上,第二个命令都会.gcno相应地创建文件。
在 4.4.7 的服务器上,第三个命令将成功创建 .gcda 文件。但是 4.8.5 的服务器打印该错误消息
我正在尝试构建一个Python-C接口,但是当我查看源代码时,我对PyObject和感到困惑PyTypeObject。有人可以解释一下它们之间的区别吗?如果有人能提供一个例子那就太好了。
python ×10
python-c-api ×10
c ×4
numpy ×2
c++ ×1
coroutine ×1
gcc ×1
gcov ×1
import ×1
performance ×1