我读到,只要客户端需要在HDFS(Hadoop分布式文件系统)中创建文件,客户端的文件必须是64mb.真的吗? 我们如何在HDFS中加载小于64 MB的文件?我们可以加载一个文件,该文件仅供参考处理其他文件,并且必须可用于所有数据节点吗?
我读到,只要客户端需要在HDFS(Hadoop分布式文件系统)中创建文件,客户端的文件必须是64mb.
你能提供相同的参考吗?任何大小的文件都可以放入HDFS.该文件被拆分为64 MB(默认)块,并保存在群集中的不同数据节点上.
我们可以加载一个文件,该文件仅供参考处理其他文件,并且必须可用于所有数据节点吗?
块或文件是在特定数据节点上还是在所有数据节点上都无关紧要.只要数据节点是集群的一部分,它们就可以从彼此获取数据.
将HDFS视为一个非常大的硬盘驱动器,并编写用于从HDFS读取/写入数据的代码.如果需要,Hadoop将负责"读取"或"写入"多个数据节点等内部组件.
建议在HDFS上阅读以下1 2 3,特别是第二个是HDFS漫画.
| 归档时间: |
|
| 查看次数: |
1420 次 |
| 最近记录: |