试图解析固定宽度的文本文件。
我的文本文件如下所示,我需要一个行 ID、日期、一个字符串和一个整数:
00101292017you1234 00201302017 me5678
我可以使用 sc.textFile(path) 将文本文件读取到 RDD。我可以使用解析后的 RDD 和模式 createDataFrame。这是这两个步骤之间的解析。
python fixed-width apache-spark pyspark
apache-spark ×1
fixed-width ×1
pyspark ×1
python ×1