如何区分 Spark 数据框中的空值和缺失的 mongogdb 值?

the*_*per 5 mongodb apache-spark apache-spark-sql

先决条件:MongoDB 文档的架构未知。它有空值和缺失值:例如以下文档中的 CCNO (1) 有值 (2) 有空值 (3) 缺失。

我使用 MongoSpark.load(SparkSession, ReadConfig) 在 Spark 中获取它们,但它正在用数据帧中的空值替换缺失值。

请建议一种方法来区分手动插入的空值和火花插入的空值(对于缺失值)。

在此输入图像描述