小编Kri*_*rov的帖子

HDFS 缓冲写/读操作

我正在使用 HDFS Java API 和 FSDataOutput 和 FSDataInput 流将文件写入/读取到由 4 台机器组成的 Hadoop 2.6.0 集群。

FS 流实现有一个bufferSize构造函数参数,我假设它用于流的内部缓存。但它似乎对写入/读取速度完全没有影响,无论其值如何(我尝试了 8KB 到几个 MBytes 之间的值)。

我想知道是否有某种方法可以实现对 HDFS 集群的缓冲写入/读取,与将 FSDataOutput/Input 包装到 BufferedOutput/Input 流不同?

java hadoop hdfs

2
推荐指数
1
解决办法
2782
查看次数

标签 统计

hadoop ×1

hdfs ×1

java ×1