多核环境中的BufferedReader

Question

我有8个文件.它们中的每一个大约是1.7 GB.我正在将这些文件读入字节数组,并且该操作足够快.

然后读取每个文件如下:

BufferedReader br=new BufferedReader(new InputStreamReader(new ByteArrayInputStream(data))); 

当使用单个核心按顺序处理时,需要花费60秒才能完成.但是,当在8个单独的核心上分配计算时,每个文件花费的时间远远超过60秒.

由于数据都在内存中并且没有执行IO操作,因此我认为每个核处理一个文件所需的时间不应超过60秒.因此,总共8个文件应该在60秒内完成,但事实并非如此.

我错过了一些关于BufferedReader行为的内容吗？或上述代码中使用的任何读者.

值得一提的是,我正在使用此代码首先上传文件:

byte[] content=org.apache.commons.io.FileUtils.readFileToByteArray(new File(filePath));

所有代码看起来像这样:

For each file
 read the file into a byte[]
 add the byte[] to a list
end For
For each item in the list
 create a thread and pass a byte[] to it
end For

Answer 1

您实际上是如何“分配计算”的？是否涉及同步？你只是创建8个线程来读取8个文件吗？

您在什么平台上运行（linux、windows 等）？我之前见过 Windows 调度程序看似奇怪的行为，它将单个进程从一个核心移动到另一个核心，以尝试平衡核心之间的负载。这最终会导致性能下降，而不仅仅是允许单个核心比其他核心得到更多利用。