小编dar*_*ter的帖子

生成空的 Spark DF 提供了包含列名称的列表

我不确定这是否是一个有效的问题,但我想问一下。

有没有一种方法可以使用带有列名的列表并生成一个空的 Spark 数据框,应该使用列表中的元素创建架构,并将所有列的数据类型设置为 StringType。

例如:

column_names = "ColA|ColB|ColC"

def Convert(string):
    li = list(string.split("|"))
    return li

schema_names = Convert(column_names)

#schema_names = ['ColA', 'ColB', 'ColC']
Run Code Online (Sandbox Code Playgroud)

如何使用此列表创建 DF 架构或空 DF

**这有点类似于如何创建具有指定架构的空 DataFrame?,因为我也尝试创建空的 DF 模式,但我提到的方法是不同的。我正在尝试从列表中生成架构。

apache-spark apache-spark-sql pyspark

6
推荐指数
2
解决办法
2万
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1