未定义Pyspark StructType

Question

我正在尝试为db测试构建模式,而StructType显然由于某种原因而无法工作.我跟随一个啧啧,并没有导入任何额外的模块.

<type 'exceptions.NameError'>, NameError("name 'StructType' is not defined",), <traceback object at 0x2b555f0>)

我正在使用spark 1.4.0和Ubuntu 12,如果这与问题有关.我该如何解决这个问题？先感谢您.

Answer 1

你导入了StructType吗？如果不

from pyspark.sql.types import StructType

应该解决问题.

Answer 2

from pyspark.sql.types import StructType

那会解决它，但接下来你可能会得到NameError: name 'IntegerType' is not defined或NameError: name 'StringType' is not defined......

为了避免所有这些，只需执行以下操作：

from pyspark.sql.types import *

或者，一一导入您需要的所有类型：

from pyspark.sql.types import StructType, IntegerType, StringType

所有类型：Apache Spark 数据类型