小编Wor*_*nch的帖子

如何从 Spark 数据框中提取 csv 名称

我们的设置是 PySpark。假设我使用spark.read.csv函数创建一个数据框df,即

df = spark.read.csv("directory/name_file.csv")

现在我需要一种方法来提取“name_file”,当然无需手动复制和粘贴。换句话说,我想要一个仅包含字符串“name_file”的火花列表或数据帧。

请仅提供涉及与 PySpark 兼容的 PySpark SQL 或 Python 代码的解决方案。

这个问题看似简单,但我花了很多时间寻找解决方案却一无所获。

python dataframe pyspark

2
推荐指数
1
解决办法
3644
查看次数

标签 统计

dataframe ×1

pyspark ×1

python ×1