我正在使用 HDFS Java API 和 FSDataOutput 和 FSDataInput 流将文件写入/读取到由 4 台机器组成的 Hadoop 2.6.0 集群。
FS 流实现有一个bufferSize构造函数参数,我假设它用于流的内部缓存。但它似乎对写入/读取速度完全没有影响,无论其值如何(我尝试了 8KB 到几个 MBytes 之间的值)。
我想知道是否有某种方法可以实现对 HDFS 集群的缓冲写入/读取,与将 FSDataOutput/Input 包装到 BufferedOutput/Input 流不同?