如何合并pyspark和pandas数据帧

Question

我有一个非常大的pyspark数据帧和一个较小的pandas数据帧,我读如下:

df1 = spark.read.csv("/user/me/data1/")
df2 = pd.read_csv("data2.csv")

两个数据帧都包括标记为"A"和"B"的列.我想创建另一个pyspark数据框,其中只有那些行df1中"A"和"B"列中的条目出现在具有相同名称的列中df2.即使用df2的列"A"和"B"过滤df1.

通常我认为这将是一个连接(实现merge)但你如何加入pandas数据帧与pyspark一个？

我无法转换df1为pandas数据帧.

Answer 1

您可以在从pandas dataframe转换为pyspark数据帧时传递架构,如下所示:

from pyspark.sql.types import *
schema = StructType([
StructField("name", StringType(), True),
StructField("age", IntegerType(), True)])
df = sqlContext.createDataFrame(pandas_dataframe, schema)

或者您可以使用我在此功能中使用的hack:

def create_spark_dataframe(file_name):
    """
    will return the spark dataframe input pandas dataframe
    """
    pandas_data_frame = pd.read_csv(file_name)
    for col in pandas_data_frame.columns:
      if ((pandas_data_frame[col].dtypes != np.int64) & (pandas_data_frame[col].dtypes != np.float64)):
        pandas_data_frame[col] = pandas_data_frame[col].fillna('')

    spark_data_frame = sqlContext.createDataFrame(pandas_data_frame)
    return spark_data_frame