如何将唯一的id列添加到DataFrame,Apache Spark,Scala

qon*_*onf 1 scala apache-spark apache-spark-sql spark-dataframe

我有一个DataFrame,我想与另一个Dataframe连接,然后按原始行分组,但原始行没有唯一的ID.如何添加唯一ID或以其他方式实现该目标.

Taw*_*kir 11

您可以使用monotonically_increasing_id

import org.apache.spark.sql.functions._
val unique_df = original_df.withColumn("UniqueID", monotonically_increasing_id)
Run Code Online (Sandbox Code Playgroud)