我有一个数据帧df有VectorUDT指定的列features.如何获取列的元素,比如第一个元素?
我尝试过以下操作
from pyspark.sql.functions import udf
first_elem_udf = udf(lambda row: row.values[0])
df.select(first_elem_udf(df.features)).show()
Run Code Online (Sandbox Code Playgroud)
但是我收到了一个net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict(for numpy.dtype)错误.如果我first_elem_udf = first_elem_udf(lambda row: row.toArray()[0])改为相同的错误.
我也试过,explode()但我得到一个错误,因为它需要一个数组或地图类型.
我认为这应该是一种常见的操作.
dataframe apache-spark apache-spark-sql pyspark apache-spark-ml
我有一个包含一列的Dataframe.该列的每一行都有一个String值数组:
我的Spark 2.2 Dataframe中的值
["123", "abc", "2017", "ABC"]
["456", "def", "2001", "ABC"]
["789", "ghi", "2017", "DEF"]
org.apache.spark.sql.DataFrame = [col: array]
root
|-- col: array (nullable = true)
| |-- element: string (containsNull = true)
Run Code Online (Sandbox Code Playgroud)
访问数组中元素的最佳方法是什么?例如,我想在2017年的第四个元素中提取不同的值(回答"ABC","DEF").
我有一个以下类型的数据框
col1|col2|col3|col4
xxxx|yyyy|zzzz|[1111],[2222]
Run Code Online (Sandbox Code Playgroud)
我希望我的输出是跟随类型
col1|col2|col3|col4|col5
xxxx|yyyy|zzzz|1111|2222
Run Code Online (Sandbox Code Playgroud)
我的col4是一个数组,我想将它转换为一个单独的列.需要做什么?
我在flatmap中看到很多答案,但是他们正在增加一行,我希望只将元组放在另一列但是在同一行中
以下是我的实际架构:
root
|-- PRIVATE_IP: string (nullable = true)
|-- PRIVATE_PORT: integer (nullable = true)
|-- DESTINATION_IP: string (nullable = true)
|-- DESTINATION_PORT: integer (nullable = true)
|-- collect_set(TIMESTAMP): array (nullable = true)
| |-- element: string (containsNull = true)
Run Code Online (Sandbox Code Playgroud)
也可以请一些人帮我解释数据帧和RDD
在对数据集应用 RandomForestClassifier 进行二元分类和预测后,我获得了一个带有标签、预测和概率列的转换数据帧df。
目标:
我想创建一个新列“prob_flag”,它是预测标签“1”的概率。它是包含概率的数组的第二个元素(本身是第一个数组的第三个元素)。
我查看了类似的主题,但出现了这些主题中未遇到的错误。
df.show()
label prediction probability
0 0 [1,2,[],[0.7558548984793847,0.2441451015206153]]
0 0 [1,2,[],[0.5190322149055472,0.4809677850944528]]
0 1 [1,2,[],[0.4884140358521083,0.5115859641478916]]
0 1 [1,2,[],[0.4884140358521083,0.5115859641478916]]
1 1 [1,2,[],[0.40305518381637956,0.5969448161836204]]
1 1 [1,2,[],[0.40570407426458577,0.5942959257354141]]
# The probability column is VectorUDT and looks like an array of dim 4 that contains probabilities of predicted variables I want to retrieve
df.schema
StructType(List(StructField(label,DoubleType,true),StructField(prediction,DoubleType,false),StructField(probability,VectorUDT,true)))
# I tried this:
import pyspark.sql.functions as f
df.withColumn("prob_flag", f.array([f.col("probability")[3][1])).show()
"Can't extract value from probability#6225: need struct type but …Run Code Online (Sandbox Code Playgroud)