cyp*_*her 2 java performance file-io
我正在运行一个长时间运行的操作,比如说 100k 个作业。我想在每完成 100 个此类作业后更新文件中的进度。
我正在使用 bufferedWriter 打开文件,附加模式为 false。写完然后关闭它。每完成 100 个作业就会执行一次此操作。所以文件打开和关闭会发生 1000 次。我可以通过仅打开和关闭文件一次来进一步优化它吗?
public static void writeMetaData(String writeDir, JSONObject jsonObject) throws Exception {
String filePath = writeDir.concat("/").concat("metadata.txt");
BufferedWriter metaDataWriter = Files.newBufferedWriter(Paths.get(filePath), StandardCharsets.UTF_8, StandardOpenOption.TRUNCATE_EXISTING);
metaDataWriter.write(jsonObject.toString());
IOUtils.closeQuietly(metaDataWriter);
}
for(int i =0 ; i < 100000; i++) {
// do Something;
if(i % 100 == 0) {
writeMetaData(writeDir, jsonObject);
}
}
Run Code Online (Sandbox Code Playgroud)
文件应该只有一行。
100 个作业后的预期文件内容:
progress: 100
200 个作业后的预期文件内容:
progress: 200
这个可以进一步优化吗?
首先,像这样的表达式writeDir.concat("/").concat("metadata.txt")会降低可读性和性能。直接的writeDir + "/" + "metadata.txt"将提供更好的性能。但是,由于您\xe2\x80\x99 构造一个字符串只是为了构造一个Path,所以更直接的是不在Path代码中执行\xe2\x80\x99s 工作,而是使用Paths.get(writeDir, "metadata.txt")。
您不能倒回 a BufferedWriter,但可以倒回FileChannel。因此,要保持通道打开并在需要时倒带,您必须在倒带后构造一个新的写入器:
public static void writeMetaData(FileChannel ch, JSONObject jsonObj) throws IOException {\n ch.position(0);\n if(ch.size() > 0) ch.truncate(0);\n\n Writer w = Channels.newWriter(ch, StandardCharsets.UTF_8.newEncoder(), 8192);\n w.write(jsonObj.toString());\n w.flush();\n}\nRun Code Online (Sandbox Code Playgroud)\ntry(FileChannel ch = FileChannel.open(Paths.get(writeDir, "metadata.txt"),\n StandardOpenOption.WRITE, StandardOpenOption.CREATE)) {\n\n for(int i = 0; i < 100000; i++) {\n // do Something;\n if(i % 100 == 0) {\n writeMetaData(ch, jsonObject);\n }\n }\n}\nRun Code Online (Sandbox Code Playgroud)\n重要的是使用结尾Writer来flush()强制写入所有缓冲数据,但并不close()因为这也会关闭底层通道。请注意,此代码不会将 writer 包装到BufferedWriter;中。将文本编码为 UTF-8 已经是一个缓冲操作,通过为编码器请求更大的缓冲区,匹配BufferedWriter\xe2\x80\x99s 默认缓冲区大小,我们可以获得相同的缓冲效果,而无需复制开销。
由于写作本身并不是目的,所以关于你的阅读方面还存在一个问题。如果读取器尝试以某些间隔读取数据,则存在与写入重叠、获取不完整数据的风险。
\n你可以使用
\npublic static void writeMetaData(FileChannel ch, JSONObject jsonObj) throws IOException {\n try(FileLock lock = ch.lock()) {\n ch.position(0);\n if(ch.size() > 0) ch.truncate(0);\n\n Writer w = Channels.newWriter(ch, StandardCharsets.UTF_8.newEncoder(), 8192);\n w.write(jsonObj.toString());\n w.flush();\n }\n}\nRun Code Online (Sandbox Code Playgroud)\n在写入期间锁定文件。但根据系统的不同,文件锁定可能不是强制性的,而只会影响也尝试获取读锁定的读者。
\n当您使用 JDK\xc2\xa011 或更新版本时,您可以考虑使用
\nfor(int i = 0; i < 100000; i++) {\n // do Something;\n if(i % 100 == 0) {\n Files.writeString(Paths.get(writeDir, "metadata.txt"), jsonObject.toString());\n }\n}\nRun Code Online (Sandbox Code Playgroud)\n这显然在简单性上胜出(是的,\xe2\x80\x99 是完整的代码,不需要额外的方法)。默认选项已包含所需的StandardCharsets.UTF_8和StandardOpenOption.TRUNCATE_EXISTING。
虽然它确实在内部打开和关闭文件,但它还有一些其他性能调整可以弥补。特别是在字符串仅由 ASCII 字符组成的情况下,因为实现将直接将 string\xe2\x80\x99s 内部数组直接写入文件。
\n