相关疑难解决方法(0)

在同一个调用中从Spark Dataframes split方法中选择数组元素?

我正在拆分HTTP请求以查看元素,我想知道是否有一种方法可以指定我想在同一个调用中查看的元素而无需执行其他操作.

例如:

from pyspark.sql import functions as fn

df.select(fn.split(df.http_request, '/').alias('http'))
Run Code Online (Sandbox Code Playgroud)

给我一个新Dataframe的数组行如下:

+--------------------+
|                http|
+--------------------+
|[, courses, 26420...|
Run Code Online (Sandbox Code Playgroud)

我想要索引1(课程)中的项目,而不必再做另一个select语句指定df.select(df.http[1])或其他.这可能吗?

python apache-spark apache-spark-sql pyspark

8
推荐指数
2
解决办法
6756
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pyspark ×1

python ×1