Java仅打开一次BufferedWriter但多次重写内容

cyp*_*her 2 java performance file-io

我正在运行一个长时间运行的操作,比如说 100k 个作业。我想在每完成 100 个此类作业后更新文件中的进度。

我正在使用 bufferedWriter 打开文件,附加模式为 false。写完然后关闭它。每完成 100 个作业就会执行一次此操作。所以文件打开和关闭会发生 1000 次。我可以通过仅打开和关闭文件一次来进一步优化它吗?

    public static void writeMetaData(String writeDir, JSONObject jsonObject) throws Exception {
        String filePath = writeDir.concat("/").concat("metadata.txt");
        BufferedWriter metaDataWriter = Files.newBufferedWriter(Paths.get(filePath), StandardCharsets.UTF_8, StandardOpenOption.TRUNCATE_EXISTING);
        metaDataWriter.write(jsonObject.toString());
        IOUtils.closeQuietly(metaDataWriter);
    }

for(int i =0 ; i < 100000; i++) {
    // do Something; 
    if(i % 100 == 0) {
        writeMetaData(writeDir, jsonObject); 
    }
}
Run Code Online (Sandbox Code Playgroud)

文件应该只有一行。

100 个作业后的预期文件内容: progress: 100 200 个作业后的预期文件内容: progress: 200

这个可以进一步优化吗?

Hol*_*ger 6

首先,像这样的表达式writeDir.concat("/").concat("metadata.txt")会降低可读性和性能。直接的writeDir + "/" + "metadata.txt"将提供更好的性能。但是,由于您\xe2\x80\x99 构造一个字符串只是为了构造一个Path,所以更直接的是不在Path代码中执行\xe2\x80\x99s 工作,而是使用Paths.get(writeDir, "metadata.txt")。

\n

您不能倒回 a BufferedWriter,但可以倒回FileChannel。因此,要保持通道打开并在需要时倒带,您必须在倒带后构造一个新的写入器:

\n
public static void writeMetaData(FileChannel ch, JSONObject jsonObj) throws IOException {\n    ch.position(0);\n    if(ch.size() > 0) ch.truncate(0);\n\n    Writer w = Channels.newWriter(ch, StandardCharsets.UTF_8.newEncoder(), 8192);\n    w.write(jsonObj.toString());\n    w.flush();\n}\n
Run Code Online (Sandbox Code Playgroud)\n
try(FileChannel ch = FileChannel.open(Paths.get(writeDir, "metadata.txt"),\n        StandardOpenOption.WRITE, StandardOpenOption.CREATE)) {\n\n    for(int i = 0; i < 100000; i++) {\n        // do Something;\n        if(i % 100 == 0) {\n            writeMetaData(ch, jsonObject);\n        }\n    }\n}\n
Run Code Online (Sandbox Code Playgroud)\n

重要的是使用结尾Writer来flush()强制写入所有缓冲数据,但并不close()因为这也会关闭底层通道。请注意,此代码不会将 writer 包装到BufferedWriter;中。将文本编码为 UTF-8 已经是一个缓冲操作,通过为编码器请求更大的缓冲区,匹配BufferedWriter\xe2\x80\x99s 默认缓冲区大小,我们可以获得相同的缓冲效果,而无需复制开销。

\n

由于写作本身并不是目的,所以关于你的阅读方面还存在一个问题。如果读取器尝试以某些间隔读取数据,则存在与写入重叠、获取不完整数据的风险。

\n

你可以使用

\n
public static void writeMetaData(FileChannel ch, JSONObject jsonObj) throws IOException {\n    try(FileLock lock = ch.lock()) {\n        ch.position(0);\n        if(ch.size() > 0) ch.truncate(0);\n\n        Writer w = Channels.newWriter(ch, StandardCharsets.UTF_8.newEncoder(), 8192);\n        w.write(jsonObj.toString());\n        w.flush();\n    }\n}\n
Run Code Online (Sandbox Code Playgroud)\n

在写入期间锁定文件。但根据系统的不同,文件锁定可能不是强制性的,而只会影响也尝试获取读锁定的读者。

\n
\n

当您使用 JDK\xc2\xa011 或更新版本时,您可以考虑使用

\n
for(int i = 0; i < 100000; i++) {\n    // do Something;\n    if(i % 100 == 0) {\n        Files.writeString(Paths.get(writeDir, "metadata.txt"), jsonObject.toString());\n    }\n}\n
Run Code Online (Sandbox Code Playgroud)\n

这显然在简单性上胜出(是的,\xe2\x80\x99 是完整的代码,不需要额外的方法)。默认选项已包含所需的StandardCharsets.UTF_8和StandardOpenOption.TRUNCATE_EXISTING。

\n

虽然它确实在内部打开和关闭文件,但它还有一些其他性能调整可以弥补。特别是在字符串仅由 ASCII 字符组成的情况下,因为实现将直接将 string\xe2\x80\x99s 内部数组直接写入文件。

\n