类型错误：字段客户：无法合并类型 <class 'pyspark.sql.types.StringType'> 和 <class 'pyspark.sql.types.DoubleType'>

Question

SL No:  Customer    Month   Amount
1   A1  12-Jan-04   495414.75
2   A1  3-Jan-04    245899.02
3   A1  15-Jan-04   259490.06

我的Df在上面

代码

import findspark
findspark.init('/home/mak/spark-3.0.0-preview2-bin-hadoop2.7')
import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('mak').getOrCreate()
import numpy as np
import pandas as pd

# Enable Arrow-based columnar data transfers
spark.conf.set("spark.sql.execution.arrow.enabled", "true")

pdf3 = pd.read_csv('Repayment.csv')
df_repay = spark.createDataFrame(pdf3)

仅加载df_repay有问题，其他数据帧加载成功。当我将上面的代码转移到下面的代码时，它成功运行了

df4 = (spark.read.format("csv").options(header="true") .load("Repayment.csv"))

• 为什么df_repay没有加载spark.createDataFrame(pdf3)而类似的数据帧加载成功

Answer 1

pdf3 是 pandas 数据框，您正在尝试将 pandas 数据框转换为 Spark 数据框。如果您想坚持使用您的代码，请使用下面的代码将您的 pandas 数据帧转换为 Spark 数据帧。

from pyspark.sql.types import *
pdf3 = pd.read_csv('Repayment.csv')
#create schema for your dataframe
schema = StructType([StructField("Customer", StringType(), True)\
                   ,StructField("Month", DateType(), True)\
                   ,StructField("Amount", IntegerType(), True)])

#create spark dataframe using schema
df_repay = spark.createDataFrame(pdf3,schema=schema)