我有一个名为 df 的 databricks 数据框。我想将其作为 csv 文件写入 S3 存储桶。我有 S3 存储桶名称和其他凭据。我检查了此处给出的在线文档https://docs.databricks.com/spark/latest/data-sources/aws/amazon-s3.html#mount-aws-s3,它说使用以下命令
dbutils.fs.mount(s"s3a://$AccessKey:$SecretKey@$AwsBucketName", s"/mnt/$MountName", "sse-s3")
dbutils.fs.put(s"/mnt/$MountName", "<file content>")
Run Code Online (Sandbox Code Playgroud)
但我拥有的是数据框而不是文件。我怎样才能实现它?
amazon-s3 amazon-web-services apache-spark pyspark databricks
我有一个字典列表,例如
temp_dict = [{'id':'1', 'name':'john'},{'id':'2', 'name':'jake'},{'id':'3', 'name':'jacob'}]
是否有一种方法可以直接将此字典作为 csv 文件(管道分隔)写入 S3。我不想从此列表中在本地创建 csv 文件,然后将其复制到 S3。