如何在 python 3 中导入“HdfsClient”？

Question

我是 python 新手，我正在尝试连接 Hadoop HDFS 系统。我得到了以下参考代码，我尝试实现它，但在导入包时显示错误。

from pyarrow import HdfsClient

# Using libhdfs
hdfs = HdfsClient('192.168.0.119', '50070', 'cloudera', driver='libhdfs')

错误：ImportError：无法导入名称“HdfsClient”

我什至尝试使用“ pip ”安装它，但是

找不到满足 HdfsClient 要求的版本（来自版本：）未找到 HdfsClient 的匹配发行版

然后我尝试使用“ conda ”，但又

收集包元数据：完成解决环境：失败

PackagesNotFoundError：当前渠道无法提供以下软件包：

• HDFS客户端

目前渠道：

• https://repo.anaconda.com/pkgs/main/win-64
• https://repo.anaconda.com/pkgs/main/noarch
• https://repo.anaconda.com/pkgs/free/win-64
• https://repo.anaconda.com/pkgs/free/noarch
• https://repo.anaconda.com/pkgs/r/win-64
• https://repo.anaconda.com/pkgs/r/noarch
• https://repo.anaconda.com/pkgs/msys2/win-64
• https://repo.anaconda.com/pkgs/msys2/noarch

要搜索可能提供您正在寻找的 conda 包的替代频道，请导航至

https://anaconda.org

并使用页面顶部的搜索栏。

实际上我正在尝试使用以下方式连接到 HUE：

IP 地址 -> 192.168.0.119

端口名称 -> 50070

用户名 -> cloudera

密码->cloudera

但这并不奏效。任何人都可以建议以更好的方式连接它或如何在 Python 3 中导入“HdfsClient”包。

Answer 1

HDFSClient已弃用。您可能想使用pyarrow.hdfs.connect. 另外尝试pip freeze看看你的python环境中是否安装了相关的库。前任。

from pyarrow import hdfs
hdfs.connect('192.168.0.119', 50070, 'cloudera', driver='libhdfs')