使用新 pyspark.pandas 的正确方法是什么?

Chu*_*ell 7 pandas pyspark databricks

Databricks 最近的这篇博客文章https://databricks.com/blog/2021/10/04/pandas-api-on-upcoming-apache-spark-3-2.html表示,pandas 程序所需的唯一更改是在 pyspark.pandas 下运行它是更改from pandas import read_csvfrom pyspark.pandas import read_csv.

但这似乎不对。那么所有其他(非read_csv)对 pandas 的引用呢?import pandas as pd改变不是正确的方法吗import pyspark.pandas as pd?然后现有程序中的所有其他 pandas 引用都将指向 pandas 的 pyspark 版本。

fig*_*uts 6

你说对了。然而,他们建议的规范方式是,from pyspark import pandas as ps