AttributeError:“DataFrame”对象没有属性“iteritems”

Pal*_*ine 4 python dataframe python-3.x pandas pyspark

我正在使用 pandas 在我的机器上读取 csv,然后从 pandas 数据帧创建一个 pyspark 数据帧。

df = spark.createDataFrame(pandas_df) 
Run Code Online (Sandbox Code Playgroud)

我将我的 pandas 从版本更新1.3.02.0

现在,我收到此错误:

在此输入图像描述


在此输入图像描述

AttributeError: 'DataFrame' object has no attribute 'iteritems'
Run Code Online (Sandbox Code Playgroud)

Pal*_*ine 13

在github上找到了答案:https ://github.com/YosefLab/Compass/issues/92

这是一个正在发生的问题。

iteritems被移除自pandas 2.0

现在我需要将 pandas 降级回版本1.5.3


编辑:

其他解决方法可能是

使用最新的Spark(3.4.1)

https://spark.apache.org/downloads.html


对于熊猫 >=2.0

您还可以分配DataFrame.itemsDataFrame.iteritems

import pandas as pd
pd.DataFrame.iteritems = pd.DataFrame.items
Run Code Online (Sandbox Code Playgroud)

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.items.html?highlight=items#pandas.DataFrame.items

  • 它可能需要一些额外的解决方法,但 [DataFrame.items](https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.items.html?highlight=items#pandas.DataFrame.items) 似乎执行您需要的操作 (2认同)