任何人都可以在不转换 xlsx 或 xls 文件的情况下让我知道我们如何将它们作为 spark 数据帧读取
我已经尝试用 Pandas 读取,然后尝试转换为 Spark 数据帧,但出现错误,错误是
错误:
Cannot merge type <class 'pyspark.sql.types.DoubleType'> and <class 'pyspark.sql.types.StringType'>
Run Code Online (Sandbox Code Playgroud)
代码:
import pandas
import os
df = pandas.read_excel('/dbfs/FileStore/tables/BSE.xlsx', sheet_name='Sheet1',inferSchema='')
sdf = spark.createDataFrame(df)
Run Code Online (Sandbox Code Playgroud)