如何清除 numba 中的缓存（或强制重新编译）

Question

我有一个用 numba 编写的相当大的代码库，我注意到当为另一个文件中调用另一个 numba 编译函数的函数启用缓存时，当被调用函数发生更改时，不会拾取被调用函数中的更改。当我有两个文件时会发生这种情况：

测试文件2：

import numba

@numba.njit(cache=True)
def function1(x):
    return x * 10

测试文件：

import numba
from tests import file1

@numba.njit(cache=True)
def function2(x, y):
    return y + file1.function1(x)

如果在 jupyter notebook 中，我运行以下命令：

# INSIDE JUPYTER NOTEBOOK
import sys
sys.path.insert(1, "path/to/files/")
from tests import testfile

testfile.function2(3, 4)
>>> 34   # good value

但是，如果我更改然后将 testfile2 更改为以下内容：

import numba

@numba.njit(cache=True)
def function1(x):
    return x * 1

然后我重新启动 jupyter notebook 内核并重新运行 notebook，我得到以下信息

import sys
sys.path.insert(1, "path/to/files/")
from tests import testfile

testfile.function2(3, 4)
>>> 34   # bad value, should be 7

将这两个文件导入笔记本对不良结果没有影响。此外，cache=False仅设置onfunction1也无效。有效的是设置cache=False所有 njit ted 函数，然后重新启动内核，然后重新运行。

我相信 LLVM 可能会内联一些被调用的函数，然后再也不检查它们。

我查看了源代码，发现有一个方法可以返回缓存对象numba.caching.NullCache()，实例化一个缓存对象并运行以下命令：

cache = numba.caching.NullCache()
cache.flush()

不幸的是，这似乎没有效果。

是否有 numba 环境设置，或者我可以手动清除 conda env 中的所有缓存函数的另一种方式？还是我只是做错了什么？

我在 Mac OS X 10.12.3 上使用 Anaconda Python 3.6 运行 numba 0.33。

Answer 1

在看到 Josh 的回答后，我通过一个 hack 解决方案“解决”了这个问题，方法是在项目方法中创建一个实用程序来终止缓存。

可能有更好的方法，但这是有效的。如果有人有一个不那么hacky的方式来做这件事，我将这个问题保持开放。

import os


def kill_files(folder):
    for the_file in os.listdir(folder):
        file_path = os.path.join(folder, the_file)
        try:
            if os.path.isfile(file_path):
                os.unlink(file_path)
        except Exception as e:
            print("failed on filepath: %s" % file_path)


def kill_numba_cache():

    root_folder = os.path.realpath(__file__ + "/../../")

    for root, dirnames, filenames in os.walk(root_folder):
        for dirname in dirnames:
            if dirname == "__pycache__":
                try:
                    kill_files(root + "/" + dirname)
                except Exception as e:
                    print("failed on %s", root)

Answer 2

这有点黑客，但它是我以前使用过的东西。如果将此函数放在 numba 函数所在位置的顶层（在本例中为 in testfile），它应该重新编译所有内容：

import inspect
import sys

def recompile_nb_code():
    this_module = sys.modules[__name__]
    module_members = inspect.getmembers(this_module)

    for member_name, member in module_members:
        if hasattr(member, 'recompile') and hasattr(member, 'inspect_llvm'):
            member.recompile()

然后在您想要强制重新编译时从您的 jupyter notebook 调用它。需要注意的是，它仅适用于该函数所在模块中的文件及其依赖项。可能有另一种方法来概括它。