我有一个带有巨大可解析元数据的DF作为Dataframe中的单个字符串列,我们称之为DFA,使用ColmnA.
我想打破这一列,将ColmnA分成多个列,通过一个函数,ClassXYZ = Func1(ColmnA).此函数返回一个具有多个变量的类ClassXYZ,现在每个变量都必须映射到新列,例如ColmnA1,ColmnA2等.
如何通过调用此Func1一次,使用这些附加列从一个Dataframe到另一个Data转换,而不必重复它来创建所有列.
如果我每次都要调用这个巨大的函数添加一个新列,它很容易解决,但这是我希望避免的.
请使用工作或伪代码建议.
谢谢
桑杰
scala user-defined-functions dataframe apache-spark apache-spark-sql