PySpark中的Apache Spark中是否存在等效的Pandas Melt函数,或者至少在Scala中？
我到目前为止在python中运行了一个示例数据集,现在我想将Spark用于整个数据集.
提前致谢.
我是spark scala的新手，我有以下情况我在集群上有一个表“TEST_TABLE”（可以是hive表）我正在将它转换为数据帧：
scala> val testDF = spark.sql("select * from TEST_TABLE limit 10")
现在可以将 DF 视为
scala> testDF.show()
COL1|COL2|COL3
----------------
abc|abcd|abcdef
a|BCBDFG|qddfde
MN|1234B678|sd
我想要一个像下面这样的输出
COLUMN_NAME|MAX_LENGTH
COL1|3
COL2|8
COL3|6
在 spark scala 中这样做是否可行？