我试图了解是什么导致了阅读速度的巨大差异。我有一个包含 3000 万行和 38 列的数据框。
final_df=spark.read.parquet("/dbfs/FileStore/path/to/file.parquet")
读取该文件需要 14 分钟。
尽管
final_df = spark.read.format("parquet").load("/dbfs/FileStore/path/to/file.parquet")
读取文件仅需2秒。