Memory management 当在数组上迭代时,内存使用会增加
我正在使用Julia为Poisson方程设计Jacobi解算器。迭代调用解算器,直到Memory management 当在数组上迭代时,内存使用会增加,memory-management,julia,Memory Management,Julia,我正在使用Julia为Poisson方程设计Jacobi解算器。迭代调用解算器,直到err足够小(~1e-8),对于我的nx=ny=80测试用例,需要大约25000次循环。分析表明,大部分时间都花在内部循环中(正如预期的那样),但内存分配似乎正在流失,@time宏为达到收敛而分配了38GB的内存,这似乎太多了,因为我不认为我正在为每个循环创建新的阵列 function jacobi(P::Array{Float64,2}, maxiter::Int64) P_old = copy(P)
err
足够小(~1e-8),对于我的nx=ny=80
测试用例,需要大约25000次循环。分析表明,大部分时间都花在内部循环中(正如预期的那样),但内存分配似乎正在流失,@time宏为达到收敛而分配了38GB的内存,这似乎太多了,因为我不认为我正在为每个循环创建新的阵列
function jacobi(P::Array{Float64,2}, maxiter::Int64)
P_old = copy(P)
for j = 2:ny-1
# Main body loop
for i = 2:nx-1
@inbounds P[i,j] = ((P_old[i+1,j] + P_old[i-1,j])*dx2
+ (P_old[i,j+1] + P_old[i,j-1])*dy2)/denom-Rmod[i,j]
end
end
err = vecnorm(P::Array{Float64,2}-P_old::Array{Float64,2})/sqrt(nx+ny)
return (P, err)
end
我已经为函数计时了1000个循环,从设置初始条件的函数包装器(methodwrap
)调用:
function methodwrap(solver, maxiter::Int64) # (solver fn name, max # of iterations)
P = copy(P0)
iter = 1
err = 1.0
maxerr = 1e-8
prog = Progress(maxiter,.2, "Solving using $solver method", 10) # Show progress bar
while (err > maxerr) && (iter < maxiter)
P, err = solver(P, maxiter)
next!(prog) # Iterates progress bar counter
iter += 1
end
println()
return (P, iter, err)
end
我已尝试将内环阵列减少为向量子阵列,并使用@simd:
function jacobi2(P::Array{Float64,2}, maxiter::Int64)
P_old = copy(P)::Array{Float64,2}
for j = 2:ny-1
# Main body loop
Pojm = sub(P_old,:,j-1)
Poj = sub(P_old,:,j)
Pojp = sub(P_old,:,j+1)
Pj = sub(P,:,j)
Rmodj = sub(Rmod,:,j)
@simd for i = 2:nx-1
@inbounds Pj[i] = ((Poj[i+1] + Poj[i-1])*dx2
+ (Pojp[i] + Pojm[i])*dy2)/denom-Rmodj[i]
end
end
err = vecnorm(P::Array{Float64,2}-P_old::Array{Float64,2})/sqrt(nx+ny)
return (P, err)
end
然而,这似乎只会增加内存分配并降低速度,我得到一个@simd警告:
julia> @time methodwrap(jacobi2,1000);
Warning: could not attach metadata for @simd loop.
Solving using jacobi2 method: 100%|##########| ETA: 0:00:00
elapsed time: 4.947097666 seconds (1455818184 bytes allocated, 29.85% gc time)
这是我在朱莉娅的第一个项目,所以我可能犯了一个非常明显的错误,但我还没有找到解决方案。我将全局变量定义为常量。我已经阅读了好几次性能提示,我整理了文件,我使用了打字检查来确保我的类型是一致的,在我看来,所有的东西都相当干净。我做错了什么?如果你想检查一下的话,我已经发布了我的要点。事实证明问题很微妙。我做了3个改变(见下文)。我确实使用了@iaindanning建议的--track allocation=user,它指向了有问题的行。这两个问题都源于使用全局变量 在这些变化之后
julia> @time methodwrap(jacobi,1000)
elapsed time: 0.481986712 seconds (116650236 bytes allocated)
更改1将常量添加到nx和ny
除了这两个变量外,到处都有const,但如果保留非const和global,则会导致循环迭代器i不必要地分配
nx=80 # Number of mesh points in the x-direction
ny=80 # Number of mesh points in the y-direction
改为
const nx=80 # Number of mesh points in the x-direction
const ny=80 # Number of mesh points in the y-direction
const Rmod = convert(Array{Float64,2},dx2*dy2*R/(2*(dx2+dy2)))
更改2:避免数组{Any,2}类型的Rmod
改为
const nx=80 # Number of mesh points in the x-direction
const ny=80 # Number of mesh points in the y-direction
const Rmod = convert(Array{Float64,2},dx2*dy2*R/(2*(dx2+dy2)))
尝试使用内存分配跟踪运行:
julia--track allocation=user yourscript.jl
。它应该告诉您哪些行正在执行所有内存分配。您可以发布如何创建P0吗?@waTeim:P0创建脚本包含在完整代码中:@Iain:how't'view the resulted*.mem
files'?它们只是普通文本文件,实际上是您的源文件,为其旁边的每一行分配内存。--track allocation=user
输出到哪个文件/dir?它不在我运行命令的目录中。@AlexAmes它可能是我们调用程序的方式。你能提供一些关于你的安装/操作系统的详细信息吗?它应该在源文件夹中;i、 例如,如果您的包在src/mypackage.jl
中有一个文件,那么在同一src
文件夹中会有一个文件mypackage.jl.mem
。@waTeim嗨,您能告诉我为什么“change2”对您有效吗?我的意思是,第一个版本有什么问题。常量Rmod=dx2*dy2*R/(2*(dx2+dy2))
?