如何在pyspark中使用df.write.csv附加到csv文件？

Question

我正在尝试将数据附加到我的csv文件中df.write.csv.这是我在关注spark文档http://spark.apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter之后所做的:

from pyspark.sql import DataFrameWriter
.....
df1 = sqlContext.createDataFrame(query1)
df1.write.csv("/opt/Output/sqlcsvA.csv", append) #also tried 'mode=append'

执行上面的代码给我错误:

NameError:名称'append'未定义

没有附加,错误:

路径已经存在.

Answer 1

df.write.save(path='csv', format='csv', mode='append', sep='\t')

Answer 2

我不了解 Python，但在 Scala 和 Java 中，可以通过以下方式设置保存模式：

df.write.mode("append").csv("pathToFile")

我认为Python 中应该是类似的。这可能会有所帮助。