我创建了一个PySpark应用程序,它通过定义的Schema读取数据帧中的JSON文件.下面的代码示例
schema = StructType([
StructField("domain", StringType(), True),
StructField("timestamp", LongType(), True),
])
df= sqlContext.read.json(file, schema)
我需要一种方法来找到如何在一种配置或ini文件等中定义此模式.并在主要的PySpark应用程序中阅读.
如果将来有任何需要而不更改主PySpark代码,这将帮助我修改更改JSON的模式.
感谢任何帮助,谢谢.