小编Chr*_*son的帖子

pyspark 解析固定宽度的文本文件

试图解析固定宽度的文本文件。

我的文本文件如下所示,我需要一个行 ID、日期、一个字符串和一个整数:

00101292017you1234
00201302017 me5678
Run Code Online (Sandbox Code Playgroud)

我可以使用 sc.textFile(path) 将文本文件读取到 RDD。我可以使用解析后的 RDD 和模式 createDataFrame。这是这两个步骤之间的解析。

python fixed-width apache-spark pyspark

13
推荐指数
1
解决办法
1万
查看次数

标签 统计

apache-spark ×1

fixed-width ×1

pyspark ×1

python ×1