Julia：即时快速写入文件

Question

我正在编写一个求解器，它需要在每个时间步写入几个数字。时间步长必须很小，因此我需要经常写输出..

这张图显示了代码分析。如您所见，突出显示的 IO 部分占用了执行时间的显着部分。

IO 是这样完成的

println(out_file, t, " ", v.P[1], " ", v.P[end])

我想P在数据结构中保存向量的第一个和最后一个元素v以及t.

从分析看来，大部分计算时间都由string.jl函数（不是我定义的）占用。

这让我想知道是否有更有效的方法来迭代地将输出写入文件。

有什么建议吗？

谢谢

附加信息

输出文件在执行开始时打开一次，并保持打开状态直到结束。我无法报告整个代码，因为它很长，但它就像

out_file = open("file.out", "w")

delta_t = computeDeltaT()
t = 0
while t<T
  P = computeP()

  println(out_file, t, " ", P[1], " ", P[end])

  delta_t = computeDeltaT()
  t += delta_t
end

close(out_file)

我需要迭代编写，因为解决方案会及时发展，我不知道 delta_t 会如何变化。所以我不能预先分配 P。另外，这将是一个巨大的矩阵，比如百万乘以 5。

编辑

@isebarn 每 100 步打印一次确实减少了执行时间。此外，我将尝试添加第二个工作人员来处理 IO，这样我就不会丢失数据。

Answer 1

迭代是指另一个应用程序/程序必须能够在写入之间读取文件吗？否则，您可以只打开一次流，然后在最后关闭。

f = open(outfile,"w") # do this once
for i in someloop
    # do something
    write(f, "whatever") # write to stream but not flushed to disk
end
close(f) # now everything is flushed to the disk (i.e. now outfile will have changed)

如果您需要在此过程中访问文件，那么您可以在每次迭代期间打开/关闭（也许 write 比 println 更快，对其进行分析以进行检查），或者您可以每 N 次迭代打开/关闭流以平衡两者？

编辑：来源： http ://docs.julialang.org/en/release-0.4/manual/networking-and-streams/

就像 @isebarn 所说，将二进制文件写入 hdf5 也可能会更快。但不确定。

此外，IO 通常也是此类场景中的限制因素。另一件要尝试的事情是，是否有一种方法可以估计 P，您可以预先分配然后修剪它？