我正在使用hdfs -put将大型20GB文件加载到hdfs中.目前该流程运行@ 4分钟.我正在尝试改善将数据加载到hdfs的写入时间.我尝试使用不同的块大小来提高写入速度,但得到了以下结果:
512M blocksize = 4mins;
256M blocksize = 4mins;
128M blocksize = 4mins;
64M blocksize = 4mins;
有谁知道瓶颈可能是什么以及我可以探索的其他选项来提高-put cmd的性能？