基于字典使spark的option方法可配置

Question

我有以下字典 -

config = 
{
'inferschema':'True',
'header':'true'
}

基于上面的 JSON 配置文件，我想通过使 Spark 的 .option 方法可配置来创建一个数据框。例如，上述配置的选项方法应如下所示，数据框应如下创建

   dataframe= spark.read.format('CSV').option("header", "true").option("inferSchema", "true")

Answer 1

您可以使用options并解压字典。

dataframe = spark.read.format('CSV').options(**config)