pyspark将新行添加到数据框

Hil*_*laD 7 python apache-spark

我试图将新行添加到数据框,但不能。

我的代码:

newRow = Row(id='ID123')
newDF= df.insertInto(newRow)
 or 
newDF= df.union(newRow)
Run Code Online (Sandbox Code Playgroud)

错误:

AttributeError: _jdf

AttributeError: 'DataFrame' object has no attribute 'insertInto'
Run Code Online (Sandbox Code Playgroud)

小智 5

使用pyspark在数据框中添加行的简单方法

newRow = spark.createDataFrame([(15,'Alk','Dhl')])
df = df.union(newRow)
df.show()
Run Code Online (Sandbox Code Playgroud)


i.n*_*n.m -1

尝试:(文档

from pyspark.sql import Row
newDf = sc.parallelize([Row(id='ID123')]).toDF()
newDF.show()
Run Code Online (Sandbox Code Playgroud)

  • 我很困惑。此响应中原始 df 在哪里?不知道这如何回答原来的问题。 (3认同)
  • 它创建 newDF 而不是添加新的 (2认同)
  • 这不是一个有用的答案。没有迹象表明正在附加数据帧。Alkesh Mahajan 的答案是正确的。 (2认同)