使用 PySpark 从 azure blob 存储读取 csv 文件

Question

我正在尝试使用 Microsoft Azure 上的 PySpark HDInsight 集群来做一个机器学习项目。要在我的集群上进行操作，请使用 Jupyter 笔记本。另外，我的数据（csv 文件）存储在 Azure Blob 存储中。

根据文档，我的文件路径的语法是：

path = 'wasb[s]://springboard@6zpbt6muaorgs.blob.core.windows.net/movies_plus_genre_info_2.csv'

但是，当我尝试使用以下命令读取 csv 文件时：

csvFile = spark.read.csv(path, header=True, inferSchema=True)

我收到以下错误：

'java.net.URISyntaxException: Illegal character in scheme name at index 4: wasb[s]://springboard@6zpbt6muaorgs.blob.core.windows.net/movies_plus_genre_info_2.csv'

这是笔记本中错误的屏幕截图：

有想法该怎么解决这个吗？

Answer 1

它是（未加密）：

wasb://...

或（加密）：

wasbs://...

不是

wasb[s]://...