如何释放与 Cython 模块接口的外部 C 库分配的内存，其中内存最终返回给 Python 进程？

Question

我是 Cython 的新手，但基本上我的这个应用程序需要显着提高性能，因此我和我的团队正在尝试重写 Cython 和 C 中的瓶颈。

对于我们应用程序中最慢的部分，我编写了一些 C 代码，这些代码被编译成一个库并cdef extern导入到一个 Cython 模块中，我认为它是一个.pyx文件。本质上，pyx文件中的代码基本上只是一个包装器，返回对 C 库函数的调用。最后，有一个 Python 进程（主应用程序）导入pyx文件中定义的所有函数并使用这些结果。

我相信我有内存泄漏，因为在 C 代码中，我需要传递给 Python 进程的结果有时是动态分配的。我的问题是，一旦 Python 进程使用了​​它，我就不知道如何释放它。

示例 Python 代码

from examplecython import *

def foo(data):
    context = data.context
    value = call_pyx_function(context, data)
    return value

def bar(results):
    for data in results:
        res = foo(data)
        do_something_with_res(res)
        # I want to free here

示例 Cython 代码

cdef extern from "my_lib.h"
    char * my_function(const char * context, int data)

def call_pyx_function(context: bytes, int x):
    return my_function(context, x)

示例 C 代码

cdef extern from "my_lib.h"
    char * my_function(const char * context, int data)

def call_pyx_function(context: bytes, int x):
    return my_function(context, x)

如果有人对我如何以及在何处释放此内存有任何建议，将不胜感激。

Answer 1

您可以直接free从以下位置导入libc.stdlib：

from libc.stdlib cimport free

def bar(results):
    for data in results:
        res = foo(data)
        try:
            do_something_with_res(res)
        finally:
            free(res)

（请注意，您需要 ，try/finally因为即使有异常抛出，您也希望它被释放）

__del__您可以使用上下文管理器或在/中删除的包装器来简化此操作__dealloc__：

@contextlib.contextmanager
def freeing(res):
    try:
        yield res
    finally:
        free(res)

def bar(results):
    for data in results:
        with freeing(foo(data)) as res:
            do_something_with_res(res)

或者（可能会晚得多，可能更慢，但（几乎）保证最终会被释放）

# (in pyx file)
cdef class MallocedResource:
    cdef void* res;

    def __init__(self, res):
        # Note: This "steals" res. Don't free `res`
        # as it is freed when this class's storage is freed
        self.res = <void *>res

    def __dealloc__(self):
        free(self.res)

def call_pyx_function(context: bytes, int x):
    return MallocedResouce(my_function(context, x))

# No need to change python code, so you can't forget to use try/finally.