Spark深度学习导入错误

Question

我正在尝试从https://medium.com/linagora-engineering/making-image-classification-simple-with-spark-deep-learning-f654a8b876b8复制一个深度学习项目。我正在开发 Spark 1.6.3 版。我已经安装了 keras 和 tensorflow。但是每次我尝试从 sparkdl 导入时，它都会引发错误。我正在研究 Pyspark。当我运行这个时：-

from sparkdl import readImages

我收到此错误：-

File "C:\Users\HP\AppData\Local\Temp\spark-802a2258-3089-4ad7-b8cb- 
6815cbbb019a\userFiles-c9514201-07fa-45f9-9fd8- 
c8a3a0b4bf70\databricks_spark-deep-learning-0.1.0-spark2.1- 
s_2.11.jar\sparkdl\transformers\keras_image.py", line 20, in <module>
ImportError: cannot import name 'TypeConverters'

有人可以帮忙吗？

Answer 1

这不是一个完整的修复，因为我还没有能够从 jupyter 笔记本中的 sparkdl 导入东西，但是！

readImages 是pyspark.ml.image包中的一个函数

所以要导入它，你需要：

from pyspark.ml.image import ImageSchema

使用它：

imagesDF = ImageSchema.readImages("/path/to/imageFolder")

这将为您提供图像的数据框，列“图像”

您可以添加一个标签列，如下所示：

labledImageDF = imagesDF.withColumn("label", lit(0))

但记得导入functionsfrompyspark.sql使用lit函数

from pyspark.sql.functions import * 

希望这至少有部分帮助