我开始使用Spark DataFrames,我需要能够透过数据来创建多列的1列中的多列.在Scalding中有内置的功能,我相信Python中的Pandas,但我找不到任何新的Spark Dataframe.
我假设我可以编写某种类型的自定义函数,但是我甚至不确定如何启动,特别是因为我是Spark的新手.我有人知道如何使用内置功能或如何在Scala中编写内容的建议,非常感谢.
PySpark中的Apache Spark中是否存在等效的Pandas Melt函数,或者至少在Scala中？
我到目前为止在python中运行了一个示例数据集,现在我想将Spark用于整个数据集.
提前致谢.