从 pyspark 数据框中删除第一行

Question

只是一个一般性问题。有谁知道如何删除 pyspark 数据帧的整个第一行。我尝试使用以下代码，但这使我的数据框镶木地板输出为空：

updated_bulk=bulk_spark_df.filter
(merged_mas_bulk_spark_df.'Number!='part=')

Number 是一列，part 是第一行中出现的数据

Answer 1

使用以下数据框。

df.show()
+---+----+---+
| ID|NAME|AGE|
+---+----+---+
|  1|John| 50|
|  2|Anna| 32|
|  3|Josh| 41|
|  4|Paul| 98|
+---+----+---+

您可以像这样删除第一行。

df2 = spark.createDataFrame(df.tail(df.count()-1), df.schema)

df2.show()
+---+----+---+
| ID|NAME|AGE|
+---+----+---+
|  2|Anna| 32|
|  3|Josh| 41|
|  4|Paul| 98|
+---+----+---+