我想将数据帧从pandas转换为spark,我正在使用spark_context.createDataFrame()方法来创建数据帧.我也在方法中指定架构createDataFrame().
spark_context.createDataFrame()
createDataFrame()
我想知道的是如何处理特殊情况.例如,转换为Spark数据帧时,pandas中的NaN最终为字符串"NaN".我正在寻找如何获得实际的空值而不是"NaN"的方法.
python pandas apache-spark apache-spark-sql
apache-spark ×1
apache-spark-sql ×1
pandas ×1
python ×1