迭代数组时内存使用量会爆炸

Question

我正在研究使用Julia的Poisson方程的Jacobi求解器.迭代地调用求解器,直到err足够小(~1e-8),这通过我的nx = ny = 80测试用例的函数需要大约25,000个循环.剖析表明,大部分的时间都在内部循环花费(如预期),但内存分配似乎出走-在@time宏给出顺序分配38千兆字节达到收敛,这似乎太多,因为我不我想我正在为每个循环创建新的数组.

function jacobi(P::Array{Float64,2}, maxiter::Int64)
    P_old = copy(P)
    for j = 2:ny-1
        # Main body loop
        for i = 2:nx-1 
             @inbounds P[i,j] = ((P_old[i+1,j] + P_old[i-1,j])*dx2 
                               + (P_old[i,j+1] + P_old[i,j-1])*dy2)/denom-Rmod[i,j]
        end
    end
    err = vecnorm(P::Array{Float64,2}-P_old::Array{Float64,2})/sqrt(nx+ny)
    return (P, err)
end

我已经为1000个循环定时函数,从一个methodwrap设置初始条件的函数包装器()调用:

function methodwrap(solver, maxiter::Int64) # (solver fn name, max # of iterations)
    P = copy(P0)
    iter = 1
    err  = 1.0
    maxerr = 1e-8
    prog = Progress(maxiter,.2, "Solving using $solver method", 10) # Show progress bar
    while (err > maxerr) && (iter < maxiter)
        P, err = solver(P, maxiter)
        next!(prog) # Iterates progress bar counter
        iter += 1
    end
    println()
    return (P, iter, err)
end

与我的意愿相反,看起来内存分配随着循环次数而变化,所以我做错了.看起来好像每个雅可比通道分配大约1.4 MB:

julia> @time methodwrap(jacobi,1000)
Solving using jacobi method 98%|##########|  ETA: 0:00:00
elapsed time: 4.001988593 seconds (1386549012 bytes allocated, 26.45% gc time)

我已经尝试将内部循环数组减少为向量子数组并使用@simd:

function jacobi2(P::Array{Float64,2}, maxiter::Int64)
    P_old = copy(P)::Array{Float64,2}
    for j = 2:ny-1
        # Main body loop
        Pojm = sub(P_old,:,j-1)
        Poj = sub(P_old,:,j)
        Pojp = sub(P_old,:,j+1)
        Pj = sub(P,:,j)
        Rmodj = sub(Rmod,:,j)
        @simd for i = 2:nx-1 
             @inbounds Pj[i] = ((Poj[i+1] + Poj[i-1])*dx2
                              + (Pojp[i] + Pojm[i])*dy2)/denom-Rmodj[i]
        end
    end
    err = vecnorm(P::Array{Float64,2}-P_old::Array{Float64,2})/sqrt(nx+ny)
    return (P, err)
end

但是,这似乎只会增加内存分配并降低速度,我收到@simd警告:

julia> @time methodwrap(jacobi2,1000);
Warning: could not attach metadata for @simd loop.
Solving using jacobi2 method: 100%|##########|  ETA: 0:00:00
elapsed time: 4.947097666 seconds (1455818184 bytes allocated, 29.85% gc time)

这是我在朱莉娅的第一个项目,所以我可能犯了一个非常明显的错误,但我还没有找到解决方案.我已将全局变量定义为常量.我已经多次浏览了性能提示,我已经对文件进行了修改,我使用了TypeCheck来确保我的类型是一致的,而且一切看起来都非常犹豫了.我究竟做错了什么？如果你想检查一下,我已经在Gist上发布了我的完整代码.

Answer 1

事实证明，问题很微妙。我做了 3 处更改（见下文）。我确实按照 @IainDunning 的建议使用了 --track-allocation=user ，它指向了有问题的行。这两个问题都来自于使用全局变量。

这些变化之后

julia> @time methodwrap(jacobi,1000)
elapsed time: 0.481986712 seconds (116650236 bytes allocated)

更改 1 将 const 添加到 nx 和 ny

除了这两个变量之外，到处都有 const，但是当留下非 const 和全局变量时，会导致循环迭代器i进行不必要的分配。

nx=80 # Number of mesh points in the x-direction
ny=80 # Number of mesh points in the y-direction

被改为

const nx=80 # Number of mesh points in the x-direction
const ny=80 # Number of mesh points in the y-direction

更改 2：避免 Array{Any,2} 类型的 Rmod

const Rmod = dx2*dy2*R/(2*(dx2+dy2))

被改为

const Rmod = convert(Array{Float64,2},dx2*dy2*R/(2*(dx2+dy2)))