小编Pra*_*eja的帖子

Pandas数据帧到Spark数据帧,处理NaN转换为实际null?

我想将数据帧从pandas转换为spark,我正在使用spark_context.createDataFrame()方法来创建数据帧.我也在方法中指定架构createDataFrame().

我想知道的是如何处理特殊情况.例如,转换为Spark数据帧时,pandas中的NaN最终为字符串"NaN".我正在寻找如何获得实际的空值而不是"NaN"的方法.

python pandas apache-spark apache-spark-sql

4
推荐指数
2
解决办法
2747
查看次数

标签 统计

apache-spark ×1

apache-spark-sql ×1

pandas ×1

python ×1