异步写入R中的文件

Question

任何人都可以向我提供一些关于如何从一个非常大的文件的块进行异步写入的指导,每个文件在多个集群(8-500)中使用相同的函数进行处理.该文件大约为25 GB,因此太大而无法放入内存中.

我们目前正在使用'snow(fall)'和'mmap'软件包,但无法解决一些瓶颈问题.同步写入工作正常,但异步写入会更有效.

我不确定你需要什么更多信息,但请随时问我!

Answer 1

也许你可以使用

sink("filename.any_extension")

因此，使用它会在收到命令后立即将结果输出到文本文件中，并进一步处理您可以使用的结果

readLines("filename.any_extension",n=-1,warn=TRUE).

我希望这有帮助。