Databricks 最近的这篇博客文章https://databricks.com/blog/2021/10/04/pandas-api-on-upcoming-apache-spark-3-2.html表示,pandas 程序所需的唯一更改是在 pyspark.pandas 下运行它是更改from pandas import read_csv
为from pyspark.pandas import read_csv
.
但这似乎不对。那么所有其他(非read_csv
)对 pandas 的引用呢?import pandas as pd
改变不是正确的方法吗import pyspark.pandas as pd
?然后现有程序中的所有其他 pandas 引用都将指向 pandas 的 pyspark 版本。