相关疑难解决方法(0)

将 spark 数据帧的每一行写入一个单独的文件

我有一个带有单列的 Spark Dataframe,其中每一行都是一个长字符串(实际上是一个 xml 文件)。我想通过 DataFrame 并将每行中的一个字符串保存为文本文件,它们可以简单地称为 1.xml、2.xml 等。

我似乎找不到有关如何执行此操作的任何信息或示例。我刚刚开始使用 Spark 和 PySpark。也许在 DataFrame 上映射一个函数,但该函数必须将字符串写入文本文件,我找不到如何执行此操作。

file-writing apache-spark pyspark

3
推荐指数
1
解决办法
5205
查看次数

标签 统计

apache-spark ×1

file-writing ×1

pyspark ×1