pyspark 解析固定宽度的文本文件

Question

试图解析固定宽度的文本文件。

我的文本文件如下所示，我需要一个行 ID、日期、一个字符串和一个整数：

00101292017you1234
00201302017 me5678

我可以使用 sc.textFile(path) 将文本文件读取到 RDD。我可以使用解析后的 RDD 和模式 createDataFrame。这是这两个步骤之间的解析。

Answer 1

Spark 的substr函数可以处理固定宽度的列，例如：

df = spark.read.text("/tmp/sample.txt")
df.select(
    df.value.substr(1,3).alias('id'),
    df.value.substr(4,8).alias('date'),
    df.value.substr(12,3).alias('string'),
    df.value.substr(15,4).cast('integer').alias('integer')
).show()

将导致：

+---+--------+------+-------+
| id|    date|string|integer|
+---+--------+------+-------+
|001|01292017|   you|   1234|
|002|01302017|    me|   5678|
+---+--------+------+-------+

拆分列后，您可以像在普通 spark 数据框中一样重新格式化和使用它们。