Pal*_*ine 4 python dataframe python-3.x pandas pyspark
我正在使用 pandas 在我的机器上读取 csv,然后从 pandas 数据帧创建一个 pyspark 数据帧。
df = spark.createDataFrame(pandas_df)
Run Code Online (Sandbox Code Playgroud)
我将我的 pandas 从版本更新1.3.0为2.0
现在,我收到此错误:
AttributeError: 'DataFrame' object has no attribute 'iteritems'
Run Code Online (Sandbox Code Playgroud)
Pal*_*ine 13
在github上找到了答案:https ://github.com/YosefLab/Compass/issues/92
这是一个正在发生的问题。
iteritems被移除自pandas 2.0
现在我需要将 pandas 降级回版本1.5.3
编辑:
其他解决方法可能是
使用最新的Spark(3.4.1)
https://spark.apache.org/downloads.html
您还可以分配DataFrame.items给DataFrame.iteritems
import pandas as pd
pd.DataFrame.iteritems = pd.DataFrame.items
Run Code Online (Sandbox Code Playgroud)
| 归档时间: |
|
| 查看次数: |
15381 次 |
| 最近记录: |