“客户端”对于Hadoop / HDFS到底意味着什么?

Meh*_*ANI 6 hadoop hdfs

我了解其背后的一般概念,但我想进一步澄清和明确定义“客户”是什么。

例如,如果我只是在终端上编写hdfs命令,它仍然是“客户端”吗?

fra*_*ijo 5

ClientHadoop中的“中”是指用于与Hadoop文件系统通信的接口。Hadoop可以使用不同类型的客户端来执行不同的任务。

基本文件系统客户端hdfs dfs用于连接到Hadoop文件系统并执行与文件相关的基本任务。它使用ClientProtocol与NameNode守护程序进行通信,并直接连接到DataNode以读取/写入块数据。要在HDFS上执行管理任务,有hdfs dfsadmin。对于与HA相关的任务,hdfs haadmin。有类似的客户端可用于执行与YARN相关的任务。

可以使用它们各自的CLI命令从安装Hadoop的节点调用这些客户端,这些节点具有连接到Hadoop Filesystem所需的必要配置和库。此类节点通常称为Hadoop客户端。

例如,如果我只是在终端上编写hdfs命令,它仍然是“客户端”吗?

从技术上讲,。如果您能够使用该hdfs命令访问FS ,则该节点具有成为Hadoop客户端所需的配置和库。

PS: API也可用于以编程方式创建这些客户端。