Pyspark 数据帧写入中使用 noop 格式

Question

data.write.format("noop").mode("overwrite").save()有人可以让我知道Pyspark 3.0 中该命令的使用/工作原理吗 ？

Answer 1

当您需要模拟没有任何数据的写入时，“noop”命令非常有用，例如，假设您想要检查作业的性能，但是您只想检查保存到存储的效果，而没有正确执行操作。