相关疑难解决方法(0)

如何制作良好的可重现的Apache Spark示例

我花了相当多的时间阅读和标签的一些问题,而且我经常发现海报没有提供足够的信息来真正理解他们的问题.我经常评论要求他们发布MCVE,但有时让他们显示一些样本输入/输出数据就像拔牙一样.例如:请参阅有关此问题的评论.

也许问题的一部分是人们只是不知道如何轻松地为火花数据帧创建MCVE.我认为将这个pandas问题的spark-dataframe版本作为可以链接的指南是有用的.

那么如何创造一个好的,可重复的例子呢?

dataframe apache-spark apache-spark-sql pyspark pyspark-sql

55
推荐指数
4
解决办法
3952
查看次数

如何访问Spark DataFrame中VectorUDT列的元素?

我有一个数据帧df有VectorUDT指定的列features.如何获取列的元素,比如第一个元素?

我尝试过以下操作

from pyspark.sql.functions import udf
first_elem_udf = udf(lambda row: row.values[0])
df.select(first_elem_udf(df.features)).show()
Run Code Online (Sandbox Code Playgroud)

但是我收到了一个net.razorvine.pickle.PickleException: expected zero arguments for construction of ClassDict(for numpy.dtype)错误.如果我first_elem_udf = first_elem_udf(lambda row: row.toArray()[0])改为相同的错误.

我也试过,explode()但我得到一个错误,因为它需要一个数组或地图类型.

我认为这应该是一种常见的操作.

dataframe apache-spark apache-spark-sql pyspark apache-spark-ml

16
推荐指数
1
解决办法
5886
查看次数

如何访问数组列中的值?

我有一个包含一列的Dataframe.该列的每一行都有一个String值数组:

我的Spark 2.2 Dataframe中的值

["123", "abc", "2017", "ABC"]
["456", "def", "2001", "ABC"]
["789", "ghi", "2017", "DEF"]

org.apache.spark.sql.DataFrame = [col: array]

root
|-- col: array (nullable = true)
|    |-- element: string (containsNull = true)
Run Code Online (Sandbox Code Playgroud)

访问数组中元素的最佳方法是什么?例如,我想在2017年的第四个元素中提取不同的值(回答"ABC","DEF").

scala apache-spark apache-spark-sql

12
推荐指数
3
解决办法
2万
查看次数

如何从pyspark中的数组中提取元素

我有一个以下类型的数据框

col1|col2|col3|col4
xxxx|yyyy|zzzz|[1111],[2222]
Run Code Online (Sandbox Code Playgroud)

我希望我的输出是跟随类型

col1|col2|col3|col4|col5
xxxx|yyyy|zzzz|1111|2222
Run Code Online (Sandbox Code Playgroud)

我的col4是一个数组,我想将它转换为一个单独的列.需要做什么?

我在flatmap中看到很多答案,但是他们正在增加一行,我希望只将元组放在另一列但是在同一行中

以下是我的实际架构:

root
 |-- PRIVATE_IP: string (nullable = true)
 |-- PRIVATE_PORT: integer (nullable = true)
 |-- DESTINATION_IP: string (nullable = true)
 |-- DESTINATION_PORT: integer (nullable = true)
 |-- collect_set(TIMESTAMP): array (nullable = true)
 |    |-- element: string (containsNull = true)
Run Code Online (Sandbox Code Playgroud)

也可以请一些人帮我解释数据帧和RDD

python apache-spark rdd pyspark

8
推荐指数
2
解决办法
2万
查看次数

Pyspark 应用模型后提取转换数据帧的概率

在对数据集应用 RandomForestClassifier 进行二元分类和预测后,我获得了一个带有标签、预测和概率列的转换数据帧df。
目标:
我想创建一个新列“prob_flag”,它是预测标签“1”的概率。它是包含概率的数组的第二个元素(本身是第一个数组的第三个元素)。

我查看了类似的主题,但出现了这些主题中未遇到的错误。

df.show()
label   prediction                 probability
  0           0           [1,2,[],[0.7558548984793847,0.2441451015206153]]
  0           0           [1,2,[],[0.5190322149055472,0.4809677850944528]]
  0           1           [1,2,[],[0.4884140358521083,0.5115859641478916]]
  0           1           [1,2,[],[0.4884140358521083,0.5115859641478916]]
  1           1           [1,2,[],[0.40305518381637956,0.5969448161836204]]
  1           1           [1,2,[],[0.40570407426458577,0.5942959257354141]]

# The probability column is VectorUDT and looks like an array of dim 4 that contains probabilities of predicted variables I want to retrieve  
df.schema
StructType(List(StructField(label,DoubleType,true),StructField(prediction,DoubleType,false),StructField(probability,VectorUDT,true)))

# I tried this:
import pyspark.sql.functions as f

df.withColumn("prob_flag", f.array([f.col("probability")[3][1])).show()

"Can't extract value from probability#6225: need struct type but …
Run Code Online (Sandbox Code Playgroud)

pyspark pyspark-sql

1
推荐指数
1
解决办法
868
查看次数