小编Jie*_*hen的帖子

pyspark 支持窗口函数(例如第一个、最后一个、滞后、领先)吗?

first, last, lag, lead是否支持窗口函数(例如) pyspark

例如,如何按一列进行分组并按另一列进行排序,然后通过 SparkSQL 或数据框选择每个组的第一行(这就像窗口函数所做的那样)?

我发现pyspark.sql.functions类包含聚合函数firstlast,但它们不能用于groupBy类。

apache-spark pyspark

7
推荐指数
2
解决办法
3万
查看次数

来自Python包的函数用于Spark数据帧的udf()

对于通过pyspark的Spark数据帧,我们可以pyspark.sql.functions.udf用来创建一个user defined function (UDF).

我想知道我是否可以使用Python包中的任何函数udf(),例如np.random.normal来自numpy?

python apache-spark pyspark

7
推荐指数
1
解决办法
7751
查看次数

标签 统计

apache-spark ×2

pyspark ×2

python ×1