缓存Julia模块,以便在Python中更快地启动和使用

Question

我有一个Julia模块,我需要从我的python代码库接口.为此我pyjulia就是这样使用的.

import julia

j = julia.Julia()
j.include('./simulation/n-dof/dynamics.jl')
j.using("Dynamics")
print(j.sim([1,2,3],[1,2,3]))

然而,由于Julia需要编译我正在使用的模块,这会减慢一切.

我使用的模块导出1个函数,并在内部ForwardDiff用于某些计算.它计算动态系统的导数.在可预见的未来,该模块很可能不会发生变化.我一直在阅读__precompile()__,PackageCompiler.jl但我不太了解内部工作原理以及如何使用它.

那么有没有办法在Julia系统映像中缓存模块(据我所知,这就是为什么干净的Julia启动很快)？或者将它编译为二进制文件然后以某种方式通过python调用它更好？我需要能够将参数传递给导出的函数.

我用于测试的动力学模块的一个例子:

module Dynamics
    function sim(a,b)
        return 1
    end

    export sim

end

Answer 1

这是一个复杂的问题.我会给出最简单的方法.我假设您使用Julia 0.7(它应该很快发布):

A.在Julia中生成一个包; 切换到朱莉娅REPL和pkg经理会议包管理器(您切换到它使用])写:generate Ex1(Ex1将是我们包)

B.你将创建一个包骨架; 添加您需要的任何依赖项.我假设你的简单例子.然后Ex1.jl,src目录中的文件应更改为:

__precompile__()
module Ex1
export sim
sim(a,b) = 1
precompile(sim, (Int, Int))
end

C.关键行是precompile(sim, (Int, Int))强制sim函数的预编译- 你必须指定你希望函数预编译的参数类型

D.将Julia目录更改为Ex1包目录并activate .以Pkg管理器模式写入以激活包

E.同时仍处于Pkg管理模式下写入precompile; 这将触发模块的预编译.您可以DEPOT_PATH[1]在compiled/v0.7/子目录中的目录中检查该Ex1目录是否已创建,并且该目录包含包含ji预编译内容的文件

如何检查包是否实际预编译？退出Julia并在Ex1package 目录中再次输入(要有一个干净的REPL).现在写:

A. activate .在Pkg经理模式下(Ex1可见)

B.回到正常的Julia模式并执行以下操作:

julia> using Ex1

julia> @time sim(1,1)
  0.000003 seconds (5 allocations: 208 bytes)
1

julia> @time sim(1,1)
  0.000003 seconds (4 allocations: 160 bytes)
1

julia> @time sim(1.0,1.0)
  0.000182 seconds (394 allocations: 26.641 KiB)
1

julia> @time sim(1.0,1.0)
  0.000002 seconds (4 allocations: 160 bytes)
1

你可以看到,sim(1,1)我们已经预编译未编译sim的(Int,Int)参数,但sim(1.0,1.0)有因为我们没有预编译被编译sim的(Float64,Float64).

总结:要理解的关键是你不是预编译函数而是预编译这个函数的特定方法.您必须预先编译以这种方式使用的所有方法.以上解释中的所有其余部分都是让Julia进行预编译的技术步骤.

要记住的其他问题:

• 你可以将包构建成系统映像,这很复杂; 在这里您有说明:https://docs.julialang.org/en/latest/devdocs/sysimg/ ; 您还可以查看您提到的PackageCompiler.jl,以帮助您完成此过程; 可以预期静态预编译将来会好得多;
• 为了使您的包能够预先编译,所有依赖项都必须是可预先编译的.

我希望上面的内容适合你.