我最近正在解决一些编码挑战,涉及将 Spark 数据帧传递到 Python 函数并返回一个新的数据帧。我记得的语法是这样的:
def sampleFunction(df: Dataframe) -> Dataframe:
* do stuff *
return newDF
Run Code Online (Sandbox Code Playgroud)
我现在正在尝试创建自己的示例,但无法将数据帧指定为输入/输出类型。我假设我需要导入一些东西来使 dataframe 成为可接受的类型,但在过去的一个小时里我一直在 Google 上搜索这个内容,但我找不到一个关于如何在 PySpark 中实现此功能的示例。